使用Java进行Web抓取

时间:2013-09-24 18:21:12

标签: web-scraping

我想将我的大学网站的某些部分展示到我的应用程序中(仅限新闻部分)。网站是使用JavaScript开发的。告诉我怎么能实现这个目标。我非常了解Java。

2 个答案:

答案 0 :(得分:0)

使用您需要的jsouphttpclient

答案 1 :(得分:0)

如果你需要javascript支持,HtmlUnit对于无头浏览器来说是一个非常好的解决方案。还存在一个框架,允许您使用以下代码对代理进行并行下载:https://github.com/subes/invesdwin-webproxy