如何在Java中屏蔽Ajax站点？

Question

我希望屏幕抓取几个基于Ajax的网站并模拟刷新部分网页的点击，然后阅读更新的HTML。有没有可以做到这一点的Java库？

Answer 1

使用HtmlUnit这对此很有用!!它是一个无头浏览器，能够播放点击，鼠标位置和几乎所有你想要的东西。

Answer 2

我认为实现这一目标的唯一方法是嵌入浏览器以便执行Javascript并在更新DOM时获取数据。 This related stack overflow question may help

Answer 3

这些书应该对您有所帮助（尽管第一本书仅供Java开发人员使用）：

• Programming Spiders, Bots, and Aggregators in Java;
• Webbots, Spiders, and Screen Scrapers;
• Spidering Hacks;