递归wget将无法正常工作

时间:2012-10-18 12:57:05

标签: bash

我正在尝试使用wget -r抓取本地站点但是我没有成功:它只是下载第一页而不是更深入。顺便说一句,我是如此不成功,无论我尝试什么网站都不起作用...... :)

我尝试了各种选择但没有更好的事情发生。这是我认为我能做到的命令:

wget -r -e robots=off --user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.79 Safari/537.4" --follow-tags=a,ref --debug `http://rocky:8081/obix`

真的,我不知道。无论我读到什么关于wget的网站或文档告诉我它应该只使用wget -r所以我开始认为我的wget是错误的(我在Fedora 16上)。

有什么想法吗?


编辑:这是我为wget -r --follow-tags=ref,a http://rocky:8081/obix/获得的输出:

  

wget -r --follow-tags = ref,a http://rocky:8081/obix/   --2012-10-19 09:29:51-- http://rocky:8081/obix/解决岩石... 127.0.0.1连接到岩石| 127.0.0.1 |:8081 ...   连接的。发送HTTP请求,等待响应... 200 OK长度:792   [text / xml]保存到:“rocky:8081 / obix / index.html”

     

100%[============================================ ==================================>] 792 --.- K / s in 0s

     

2012-10-19 09:29:51(86,0 MB / s) - “rocky:8081 / obix / index.html”   保存[792/792]

     

已完成--2012-10-19 09:29:51--已下载:1个文件,792个0(86,0)   MB / s)的

1 个答案:

答案 0 :(得分:1)

通常不需要提供用户代理。

这应该足够了:

wget -r http://stackoverflow.com/questions/12955253/recursive-wget-wont-work

要看,为什么wget没有做你想做的事,看看它给你的输出并在这里发布。