Linux
wget 從遠端 URL 下載正則表達式模式文件
我想
*httpd*
從遠端 CentOS 鏡像下載所有 RPM 文件,我正在嘗試他遵循命令,但它似乎不起作用
[root@yum foo]# wget -r --no-parent -A "*httpd*" https://mirrors.edge.kernel.org/centos/7.5.1804/os/x86_64/Packages/
我看到它創建了一個目錄結構,但目錄中沒有文件。
[root@yum foo]# ls mirrors.edge.kernel.org
我做錯了什麼?
您嘗試執行此操作的網站有一個
robots.txt
文件,其中包括User-Agent: * Disallow: /
在遞歸模式下,
wget
服從這個文件,因此拒絕進行遞歸複製。