使用Linux wget标签来抓取网站

时间:2012-10-03 20:51:23

标签: linux wget

有一些网站 - www.elections.am/votersreg 我想知道如何使用linux wget标签获取本网站的全部信息? 谢谢

2 个答案:

答案 0 :(得分:1)

您可以使用wget -r或安装名为“httrack”的程序并使用该程序将网址镜像到文件夹

答案 1 :(得分:0)

另一个答案显示' wget -r'这可能对你有用。但是,为了最好地抓住这个网站上的全部信息"正如你的问题所述,我认为' wget --mirror'也许' wget --mirror --convert-links'会有更强的解决方案。 -r选项默认为5级递归,其中--mirror给出无限级别的递归。如果这是您的目标,则--convert-links选项将根据需要转换下载文档中的链接,使其适合本地浏览。

我会小心无限递归'方面在这里。这可能会失控,因此您可能希望监控下载进度。您还可以使用--level = depth选项明确定义递归深度。

相关问题