我想用JSoup抓一个网站。这个网站是动态的,每隔一秒左右更新一次。我很确定它使用JQuery,它可以更新HTML中的一些标签。我正在使用JSoup,但动态区域是空白的。 JSoup有什么特别的东西来解决这个问题吗?或者这是一个限制? 编辑:我打算将它放在我网站上的Java小程序中。
答案 0 :(得分:4)
听起来您希望JSoup的行为类似于支持JavaScript的浏览器。 我不敢工作。 JSoup是一个可以执行HTTP请求的工具,然后将响应主体用于有用的东西。
这个有用的东西'是从响应中的(X)HTML文本中提取信息。 如果您想在加载JavaScript注入的HTML页面(=动态网页)后想要后续ajax-request的内容,您需要自己对这些后续请求建模并指示JSoup手动执行这些请求
答案 1 :(得分:1)
答案 2 :(得分:0)
HTMLUnit是一个基于java的无窗口浏览器,支持javascript 我曾经用过一些报废项目而且效果很好,有时候大型操作有点慢。它还支持代理。 http://htmlunit.sourceforge.net/