使用 wget 從 php 網站下載 pdf 和 zip 文件

June 12, 2017

本網站包含可供下載的 pdf 和 zip 文件。
問題是我應該通過點擊一個按鈕來一個一個地下載這些文件。我嘗試使用 wget 下載整個網站但沒有成功。我可以做什麼？

curl請求如下（可以從瀏覽器開發者工具的網路部分獲取）：

curl 'https://www.concours-maths-cpge.fr/' -H 'Cookie: startBAK=xxxxxxxxxxxxxxxx; start=xxxxxxxxxxxx' -H 'Origin: https://www.concours-maths-cpge.fr' -H 'Accept-Encoding: gzip, deflate, br' -H 'Accept-Language: en-US,en;q=0.8' -H 'Upgrade-Insecure-Requests: 1' -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36' -H 'Content-Type: multipart/form-data; boundary=----WebKitFormBoundaryBj169hPosWDbuaq7' -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8' -H 'Cache-Control: max-age=0' -H 'Referer: https://www.concours-maths-cpge.fr/' -H 'Connection: keep-alive' --data-binary $'------WebKitFormBoundaryBj169hPosWDbuaq7\r\nContent-Disposition: form-data; name="cmd"\r\n\r\n\r\n------WebKitFormBoundaryBj169hPosWDbuaq7\r\nContent-Disposition: form-data; name="mode"\r\n\r\nsimple\r\n------WebKitFormBoundaryBj169hPosWDbuaq7\r\nContent-Disposition: form-data; name="annee"\r\n\r\n2017\r\n------WebKitFormBoundaryBj169hPosWDbuaq7\r\nContent-Disposition: form-data; name="concours"\r\n\r\n0\r\n------WebKitFormBoundaryBj169hPosWDbuaq7\r\nContent-Disposition: form-data; name="filiere"\r\n\r\n0\r\n------WebKitFormBoundaryBj169hPosWDbuaq7\r\nContent-Disposition: form-data; name="matiere"\r\n\r\n0\r\n------WebKitFormBoundaryBj169hPosWDbuaq7\r\nContent-Disposition: form-data; name="epreuve"\r\n\r\n0\r\n------WebKitFormBoundaryBj169hPosWDbuaq7\r\nContent-Disposition: form-data; name="commande"\r\n\r\nrechercher\r\n------WebKitFormBoundaryBj169hPosWDbuaq7--\r\n' --compressed

捲曲的數據是：

&lt;head&gt;&lt;title&gt;Sujets de concours&lt;/title&gt;
&lt;link rel='stylesheet' href='javascript/table.css' type='text/css' /&gt;
&lt;script language='javascript' src='javascript/table.js'&gt;&lt;/script&gt;
&lt;/head&gt;
&lt;body background='images/julia.gif'&gt;
&lt;div align=left&gt;&lt;table style='background:none'&gt;&lt;tr&gt;
 &lt;td&gt;&lt;img src='images/ups.gif'&gt;
 &lt;td&gt;&lt;h1&gt;Union des Professeurs de classes préparatoires Scientifiques&lt;br&gt;Sujets de concours
&lt;/tr&gt;&lt;/table&gt;&lt;/div&gt;
&lt;div align='center'&gt;&lt;form enctype='multipart/form-data' method='post'&gt;
&lt;input type='hidden' name='cmd' value=''/&gt;
&lt;input type='hidden' name='mode' value='simple'/&gt;
&lt;input type='hidden' name='annee'       value='2017' /&gt;
&lt;input type='hidden' name='ordre'       value='-annee:+nom:+filiere:+matiere:+epreuve' /&gt;
&lt;table border=2 rules='none' style='table-layout:fixed' width='90%'&gt;&lt;tr&gt;&lt;td&gt;&lt;button title='tri croissant' style='width:100%' onclick='mysubmit(this,"commande=rechercher|ord=+annee")'&gt;année&lt;/button&gt;&lt;td&gt;&lt;button title='placer à gauche' style='width:100%' onclick='mysubmit(this,"commande=rechercher|ord=+nom")'&gt;concours&lt;/button&gt;&lt;td&gt;&lt;button title='placer à gauche' style='width:100%' onclick='mysubmit(this,"commande=rechercher|ord=+filiere")'&gt;filière&lt;/button&gt;&lt;td&gt;&lt;button title='placer à gauche' style='width:100%' onclick='mysubmit(this,"commande=rechercher|ord=+matiere")'&gt;matière&lt;/button&gt;&lt;td&gt;&lt;button title='placer à gauche' style='width:100%' onclick='mysubmit(this,"commande=rechercher|ord=+epreuve")'&gt;épreuve&lt;/button&gt;&lt;td style='width:5em; padding:0px'&gt;&lt;/tr&gt;
 &lt;tr class='even'&gt;&lt;td class='rowspan' rowspan=10&gt;&lt;a title='2017'&gt;2017&lt;/a&gt;&lt;td class='rowspan' rowspan=2&gt;&lt;a title='Agrégation externe'&gt;Agr-ext&lt;/a&gt;&lt;td class='rowspan' rowspan=2&gt;&lt;a title='M1'&gt;M1&lt;/a&gt;&lt;td class='rowspan' rowspan=2&gt;&lt;a title='maths'&gt;maths&lt;/a&gt;&lt;td&gt;&lt;a title='algèbre'&gt;algèbre&lt;/a&gt;&lt;td&gt;&lt;button title='fichiers disponibles' style='width:100%' onclick='mysubmit(this,"commande=rechercher|init=0|numero=m17a4a")'&gt;fichiers&lt;/button&gt;&lt;/tr&gt;
 &lt;tr class='odd'&gt;&lt;td&gt;&lt;a title='analyse'&gt;analyse&lt;/a&gt;&lt;td&gt;&lt;button title='fichiers disponibles' style='width:100%' onclick='mysubmit(this,"commande=rechercher|init=0|numero=m17a4y")'&gt;fichiers&lt;/button&gt;&lt;/tr&gt;
 &lt;tr class='even'&gt;&lt;td&gt;&lt;a title='Agrégation concours spécial'&gt;Agr-special&lt;/a&gt;&lt;td&gt;&lt;a title='autre'&gt;autre&lt;/a&gt;&lt;td&gt;&lt;a title='maths'&gt;maths&lt;/a&gt;&lt;td&gt;&lt;a title='unique'&gt;unique&lt;/a&gt;&lt;td&gt;&lt;button title='fichiers disponibles' style='width:100%' onclick='mysubmit(this,"commande=rechercher|init=0|numero=m17azu")'&gt;fichiers&lt;/button&gt;&lt;/tr&gt;
 &lt;tr class='odd'&gt;&lt;td class='rowspan' rowspan=2&gt;&lt;a title='Agrégation interne'&gt;Agr-int&lt;/a&gt;&lt;td class='rowspan' rowspan=2&gt;&lt;a title='autre'&gt;autre&lt;/a&gt;&lt;td class='rowspan' rowspan=2&gt;&lt;a title='maths'&gt;maths&lt;/a&gt;&lt;td&gt;&lt;a title='1'&gt;1&lt;/a&gt;&lt;td&gt;&lt;button title='fichiers disponibles' style='width:100%' onclick='mysubmit(this,"commande=rechercher|init=0|numero=m17bz1")'&gt;fichiers&lt;/button&gt;&lt;/tr&gt;
 &lt;tr class='even'&gt;&lt;td&gt;&lt;a title='2'&gt;2&lt;/a&gt;&lt;td&gt;&lt;button title='fichiers disponibles' style='width:100%' onclick='mysubmit(this,"commande=rechercher|init=0|numero=m17bz2")'&gt;fichiers&lt;/button&gt;&lt;/tr&gt;
 &lt;tr class='odd'&gt;&lt;td class='rowspan' rowspan=2&gt;&lt;a title='Banque Agro-Véto'&gt;Agro&lt;/a&gt;&lt;td class='rowspan' rowspan=2&gt;&lt;a title='BCPST'&gt;BCPST&lt;/a&gt;&lt;td class='rowspan' rowspan=2&gt;&lt;a title='maths'&gt;maths&lt;/a&gt;&lt;td&gt;&lt;a title='A'&gt;A&lt;/a&gt;&lt;td&gt;&lt;button title='fichiers disponibles' style='width:100%' onclick='mysubmit(this,"commande=rechercher|init=0|numero=m17ab1")'&gt;fichiers&lt;/button&gt;&lt;/tr&gt;
 &lt;tr class='even'&gt;&lt;td&gt;&lt;a title='B'&gt;B&lt;/a&gt;&lt;td&gt;&lt;button title='fichiers disponibles' style='width:100%' onclick='mysubmit(this,"commande=rechercher|init=0|numero=m17ab2")'&gt;fichiers&lt;/button&gt;&lt;/tr&gt;
 &lt;tr class='odd'&gt;&lt;td class='rowspan' rowspan=3&gt;&lt;a title='Concours Commun Polytechniques'&gt;CCP&lt;/a&gt;&lt;td class='rowspan' rowspan=3&gt;&lt;a title='MP'&gt;MP&lt;/a&gt;&lt;td&gt;&lt;a title='info'&gt;info&lt;/a&gt;&lt;td&gt;&lt;a title='option'&gt;option&lt;/a&gt;&lt;td&gt;&lt;button title='fichiers disponibles' style='width:100%' onclick='mysubmit(this,"commande=rechercher|init=0|numero=i17pmo")'&gt;fichiers&lt;/button&gt;&lt;/tr&gt;
 &lt;tr class='even'&gt;&lt;td class='rowspan' rowspan=2&gt;&lt;a title='maths'&gt;maths&lt;/a&gt;&lt;td&gt;&lt;a title='1'&gt;1&lt;/a&gt;&lt;td&gt;&lt;button title='fichiers disponibles' style='width:100%' onclick='mysubmit(this,"commande=rechercher|init=0|numero=m17pm1")'&gt;fichiers&lt;/button&gt;&lt;/tr&gt;
 &lt;tr class='odd'&gt;&lt;td&gt;&lt;a title='2'&gt;2&lt;/a&gt;&lt;td&gt;&lt;button title='fichiers disponibles' style='width:100%' onclick='mysubmit(this,"commande=rechercher|init=0|numero=m17pm2")'&gt;fichiers&lt;/button&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td colspan=5&gt;&lt;table width='100%'&gt;&lt;tr&gt;
 &lt;td&gt;sujets 1 à 10 (total = 63)
 &lt;td align='right'&gt;&lt;button title='page suivante'   onclick='mysubmit(this,"commande=rechercher|init=10")'&gt;&gt;&lt;/button&gt;&lt;/tr&gt;&lt;/table&gt;
 &lt;td&gt;&lt;button title='modifier la recherche' style='width:100%' onclick='mysubmit(this,"commande=connexion")'&gt;retour&lt;/button&gt;
&lt;/tr&gt;&lt;/table&gt;
&lt;/form&gt;&lt;/div&gt;&lt;/body&gt;

並且 wget 沒有可遵循的 pdf 連結。因此，使用 ajax，pdf 連結是在點擊時使用 javascripts 生成的。

唯一的解決方案是Selenium Webdriver，它基本上可以自動化瀏覽器中的互動式移動。您可以將 chrome/chormium 或 firefox 與 selenium 一起使用（當您的 Selenium 程式碼執行時，打開的瀏覽器視窗會自動執行點擊），但最好的方法是使用帶有 Selenium的PhantomJS之類的無頭瀏覽器。

以下是一些範例連結以及有關使用 Selenium（和 PhantomJS）進行抓取的一些問題：

使用 Python Selenium 和 PhantomJS 進行抓取

使用 Python 和 PhantomJS 進行無頭 Selenium 測試

WebDriver click() 與 JavaScript click()

使用 Selenium 與 Python 和 PhantomJS 將文件下載到文件系統