Wget蜘蛛输出

时间:2013-06-19 03:06:55

标签: wget

Wget问题:

你能帮我理解这意味着什么吗?只需拉动网址即可构建一个站点地图:

  

wget --spider --recursive --no-verbose --no-parent -t 3   --output-file = wgetlog.txt $ URL

结果:

  

2013-06-17 18:56:54网址:http:/ domain / file / 19 [149408/149408] - >   “domain / file / 19.1”[1]

这是否意味着重定向?另外,括号中的数字是什么意思?为什么最后有一个.1的第二个网址? [1]是什么意思?

我一直在搜索文档一段时间,但没有找到解释 wget 输出的页面。有人可以帮助解决上述任何良好的环节或解释吗?

1 个答案:

答案 0 :(得分:0)

我相信here已经回答了Salman A这个问题的答案。

  

wget --spider --recursive --no-verbose --output-file = wgetlog.txt http://somewebsite.com
  sed -n“s @。+ URL:([^] +)。+ @ \ 1 @ p”wgetlog.txt | sed“s @& @ \& @”> sedlog.txt

相关问题