Curl

如何使用 http 響應找到 splunk.com 的子域?

  • November 7, 2017

我已經使用該命令向“splunk.com”發送了 http 請求

curl -L splunk.com

我得到了html程式碼。我想通過解析 html 程式碼找到該網站的子域。

部分html程式碼

使用xmlstarletxmllintsed工具進行複雜的解析/縮放:

curl -sL "http://splunk.com" | xmlstarlet fo --html --recover 2>/dev/null \
| xmllint --html --xpath "//a[contains(@href, '.splunk.com') and not(contains(@href, '//www.'))]/@href" - 2>/dev/null \
| tr ' ' '\n' | sed -E 's~^href="https?:[/]+~~; s/\.com.*$/.com/' | sort -u

輸出:

answers.splunk.com
conf.splunk.com
dev.splunk.com
docs.splunk.com
investors.splunk.com
live.splunk.com
login.splunk.com
splunkbase.splunk.com
splunklive.splunk.com
usergroups.splunk.com

引用自:https://unix.stackexchange.com/questions/402861