使用wget递归设置下载的最长时间

时间:2017-12-27 11:44:13

标签: bash shell web-crawler wget mirroring

我正在使用wget抓取多个网页。然而,有些时候会继续下载文件,所以我从一个bash脚本运行它,它在启动后10分钟就会终止它。

然而,wget最后会链接转换(--convert-links),如果我将其删除,则文件将具有原始链接,并且不适合本地查看。

有没有办法通过--mirror选项对wget进行时间限制?

超时会杀死wget,这是我试图避免的。

0 个答案:

没有答案