如何通过Java抓取异步内容？

Question

我需要通过Java抓取网站，而其中一部分内容由ajax加载。有没有人有经验如何获得这些内容？

谢谢！

Answer 1

您可以使用HtmlUnit。这是一个无头浏览器。

例如，使用html单元，您可以按页面上的按钮，等待内容被ajax加载并抓住它。