我正在尝试使用wget -r抓取本地站点但是我没有成功:它只是下载第一页而不是更深入。顺便说一句,我是如此不成功,无论我尝试什么网站都不起作用...... :)
我尝试了各种选择但没有更好的事情发生。这是我认为我能做到的命令:
wget -r -e robots=off --user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.79 Safari/537.4" --follow-tags=a,ref --debug `http://rocky:8081/obix`
真的,我不知道。无论我读到什么关于wget的网站或文档告诉我它应该只使用wget -r所以我开始认为我的wget是错误的(我在Fedora 16上)。
有什么想法吗?
编辑:这是我为wget -r --follow-tags=ref,a http://rocky:8081/obix/
获得的输出:
wget -r --follow-tags = ref,a
http://rocky:8081/obix/
--2012-10-19 09:29:51--http://rocky:8081/obix/
解决岩石... 127.0.0.1连接到岩石| 127.0.0.1 |:8081 ... 连接的。发送HTTP请求,等待响应... 200 OK长度:792 [text / xml]保存到:“rocky:8081 / obix / index.html”100%[============================================ ==================================>] 792 --.- K / s in 0s
2012-10-19 09:29:51(86,0 MB / s) - “rocky:8081 / obix / index.html” 保存[792/792]
已完成--2012-10-19 09:29:51--已下载:1个文件,792个0(86,0) MB / s)的
答案 0 :(得分:1)
通常不需要提供用户代理。
这应该足够了:
wget -r http://stackoverflow.com/questions/12955253/recursive-wget-wont-work
要看,为什么wget没有做你想做的事,看看它给你的输出并在这里发布。