Wget
如何使用 wget 禁用 gzip 壓縮?
還有其他問題詢問如何使用 wget啟用gzip 壓縮,並且有很多網頁告訴如何做到這一點,但我需要相反。我正在嘗試在本地鏡像一個站點,而我只是將首頁作為 gzip 文件獲取,這反過來又破壞了遞歸,因此我無法獲取整個站點。
我可以壓縮那個文件,但這仍然不能讓我遞歸下載整個採棉網站。
如何關閉或防止 gzipping?
編輯:我發出的確切命令是
wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com --reject png,jpg,jpeg,gif --progress=dot --wait=7
哦!我想到了。我放了
header = Accept-Encoding: gzip,deflate
在我
~/.wgetrc
前段時間,假設它只會影響數據通過網路傳遞的方式,從沒想過 wget 將無法讀取 gzip 壓縮的數據。回想起來這是有道理的:這只是一個允許您使用的標頭
wget
(因為它允許您使用瀏覽器可能通過的任何標頭,或者您想要彌補的任何標頭)而不是內置的開關wget
,所以為什麼會有人期望wget
自動處理 gzipping?如果它確實會很好,但沒有理由假設它會。