使用JSOUP解析动态加载(通过滚动)页面

时间:2016-10-11 10:00:27

标签: java jquery web-scraping jsoup scraper

我正在尝试计算特定字符串的应用数量。像Flash Light一样,这里是我用来在jsoup中加载页面的链接,

Jsoup.connect("https://play.google.com/store/search?q=Flash+Light&c=apps&gl=us&hl=en")

问题是它只返回20个应用程序,但当我在浏览器中打开并向下滚动时,有超过100个应用程序结果。当我密切监视时,我发现PalyStore第一次显示20个结果,其余的结果都是在滚动时获取的。

有谁能告诉我如何处理?

此外,我只想计算结果数量,如果有任何其他方式也会很好。

1 个答案:

答案 0 :(得分:1)

Jsoup无法处理动态加载的内容。您需要一组不同的工具,例如htmlunit。