Ubuntu

如何從單個 curl 命令獲取網站的 http 轉儲和標頭?

  • March 17, 2015

我必須獲取一個網站(可以使用 -L 進行多次重定向)並將 html 內容保存在一個名為**$$ HTTP_Status_code $$_$$ Website_name $$.html**

目前我正在使用兩個 curl 呼叫,一個用於轉儲,另一個用於標頭。有沒有辦法把它們合二為一?

腳本:

cat url_list.txt | while read line; do 
if curl  -L  $line -o `curl -I $line 2>/dev/null | head -n 1 | cut -d$' ' -f2`_`basename $line`.html 
then
  :
else
   echo $line >>error.txt
fi 
done

編輯:我必須找到最後一個重定向的標題。

關於什麼

cat url_list.txt | while read line; do 
if curl  -D  tmp_status.txt -L  $line -o tmp_file.html 
then
  mv tmp_file.html $(awk '/HTTP/  { print $2}' tmp_status.txt)_$(basename $line)
else
  echo $line >>error.txt
  # processing from tmp_status
fi 
done
  • 只有一個 curl 的呼叫,而是一個後處理……

引用自:https://unix.stackexchange.com/questions/190671