如何检索动态生成的Web元素？

Question

我使用Jsoup获取网站。这是网络链接：

http://www.yelp.com/search?find_desc=restaurants&find_loc=westmont%2C+il&ns=1&ls=43131f934bb3adf3#find_loc=Hinsdale,+IL&l=p:IL:Hinsdale::&sortby=rating&unfold=1

现在我正在尝试提取网络上的子页面数量。例如，“转到页面”旁边的数字如下图所示：

不幸的是，浏览器或Jsoup中的'view source'无法看到这些元素。我想这个内容是动态嵌入到网络中的。如果是这样，访问动态生成的Web的最佳方式是什么？感谢。

Answer 1

对于使用AJAX / JS Libraries技术生成内容的网站，您可能希望使用HTMLUnit（HTMLUnit可以模拟Javascript事件）。 JSoup仅适用于静态HTML，或者您可以通过viewsource接收的内容。