如何恢复wget镜像网站?

时间:2015-05-04 01:50:27

标签: cmd web-scraping web-crawler wget

我使用wget下载整个网站 我使用了以下命令(在Windows 7中):

wget ^
 --recursive ^
 -A "*thread*, *label*" ^
 --no-clobber ^
 --page-requisites ^
 --html-extension ^
 --domains example.com ^
 --random-wait ^
 --no-parent ^
 --background ^
 --header="Accept: text/html" --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0" ^
     http://example.com/

两天后,我的小弟弟重新启动了电脑 所以我试图恢复停止的过程
我在命令

中添加了以下内容
--continue ^

所以代码看起来像

wget ^
     --recursive ^
     -A "*thread*, *label*" ^
     --no-clobber ^
     --page-requisites ^
     --html-extension ^
     --domains example.com ^
     --random-wait ^
     --no-parent ^
     --background ^
     --continue ^
     --header="Accept: text/html" --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0" ^
         http://example.com/

不幸的是,它开始了一项新工作,它再次下载相同的文件并编写一个名为

的新日志文件
wget-log.1

无论如何用wget恢复镜像站点还是让我重新开始整个事情?

1 个答案:

答案 0 :(得分:5)

尝试-nc选项。它再次检查所有内容,但不下载它。

我正在使用此代码下载一个网站:     wget -r -t1 domain.com -o log

我已经停止了这个过程,我想恢复它,所以我改变了代码:     wget -nc -r -t1 domain.com -o log

在日志中有类似这样的内容:     File .... already there; not retrieving. etc.

我在此之前检查了日志,似乎在经过5分钟的这种检查后,它开始下载新文件。

我正在将此手册用于wget:http://www.linux.net.pl/~wkotwica/doc/wget/wget_8.html