递归wget下载访问过的URL?

时间:2013-11-07 22:11:33

标签: bash recursion wget

我想用wget递归下载完整的网页。例如,如果深度2级的页面包含指向1级页面(已经下载过的页面)的链接,是否会再次下载它们?如果是这样,有没有办法防止这种情况发生?

手动wget式脚本是否比wget更优化,或者是否经过优化以避免一次又一次地下载内容? (我特别担心所有页面上出现的菜单链接)

提前谢谢

1 个答案:

答案 0 :(得分:1)

单个wget运行不应该尝试两次下载同一页面。如果有的话,对镜像来说不是很有用。 :)它还有一些其他故障,例如拒绝递归到另一个域或更高的目录。

如果你想确定它做的是正确的事情,我建议你试试看它做了什么;你总是可以混搭^C