我一直在使用此wget命令下载网站:
wget \
--recursive \
--no-clobber \
--page-requisites \
--html-extension \
--convert-links \
--restrict-file-names=windows \
--domains website.org \
--wait=10 \
--limit-rate=30K \
www.domain.org/directory/something.html
我想使用--wait和--limit-rate选项来避免网站超载。我的下载很顺利,但是24小时后它被打断了。我以为我可以通过使用--no-clobber选项恢复,但是虽然wget没有覆盖它已经下载的文件,但是在检查每个文件后它仍然等待10秒。
有没有办法让wget只等待实际上必须下载文件,从而使检查过程更快,直到我被抓到我的位置?最好的方法是什么?
感谢。