标签: bash shell web-crawler wget mirroring
我正在使用wget抓取多个网页。然而,有些时候会继续下载文件,所以我从一个bash脚本运行它,它在启动后10分钟就会终止它。
然而,wget最后会链接转换(--convert-links),如果我将其删除,则文件将具有原始链接,并且不适合本地查看。
--convert-links
有没有办法通过--mirror选项对wget进行时间限制?
--mirror
超时会杀死wget,这是我试图避免的。