解析网站

时间:2012-01-30 18:38:23

标签: html parsing

所以,我有一个网站。这些链接具有以下结构:http://example.com/1http://example.com/2http://example.com/3等。每个页面都有一个简单的表格。那么如何在计算机上自动下载每一页?感谢。

P.S。我知道有些人可能会告诉我谷歌。但我不知道我在寻找什么(我的意思是在搜索字段中键入什么)。

3 个答案:

答案 0 :(得分:3)

使用wget (http://www.gnu.org/software/wget/ )抓取网站

答案 1 :(得分:2)

查看wget命令行工具。它可以让你下载和保存网页。

除此之外,您的问题太广泛,Stack Overflow社区无法提供太多帮助。

答案 2 :(得分:2)

您可以编写一个简单的应用程序并循环遍历所有网址并下拉html。有关Java示例,请查看:http://docs.oracle.com/javase/tutorial/networking/urls/readingWriting.html