Wget

如何使用 wget 從我的站點下載所有連結並保存到文本文件?

  • August 15, 2019

我正在嘗試從 aligajani.com 下載所有連結。其中有 7 個,不包括我想忽略的域 facebook.com。我不想從以 facebook.com 域開頭的連結下載。

另外,我希望它們逐行保存在 .txt 文件中。所以會有7行。

這是我到目前為止所嘗試的。這只是下載所有內容。不想那樣。

wget -r -l 1 http://aligajani.com

wget不提供這樣的選擇。請閱讀其手冊頁。

你可以用lynx這個:

lynx -dump -listonly http://aligajani.com | grep -v facebook.com > file.txt

從它的手冊頁:

  -listonly
         for -dump, show only the list of links.

在終端中使用以下內容:

     wget -r -p -k http://website

或者

     wget -r -p -k --wait=#SECONDS http://website

注意:第二個是針對下載速度過快可能會標記您的網站;也可能導致服務中斷,因此在大多數情況下使用第二個以保持禮貌。所有內容都將放置在與您的根文件夾目錄中的網站名稱相同的文件夾中,或者您在執行命令時擁有終端的任何目錄。

引用自:https://unix.stackexchange.com/questions/116987