在JAVA中解析需要滚动以显示完整内容的网站

时间:2015-12-02 20:17:30

标签: java html parsing scroll web

我目前正在研究JAVA中的程序,该程序将从html页面解析内容。但我无法获取整个页面,因为需要向下滚动才能加载其余内容。

我可以看到一个工具(HttpFox),当我向下滚动时,发送了一个POST请求。

  

收到:(0)
  方法:POST
  输入:application / x-javascript
  网址:https://www.justadummy.com/ajax-load-list.html/ref=ox_sc_inf_0

网址与我想要从中获取内容的网站不同。

此外还显示了参数:

  

listType = dummyparamone&安培; dummyparamtwo =假安培;页= 1

每次滚动加载新内容时,数字会增加。

有没有办法用POST-Requests模拟滚动,或者我不允许在这里使用它?

也许只是一个使用javascript,JSoup,Ajax等的解决方案?

目前我正在使用Apache httpclient进行连接。

感谢您的帮助。

0 个答案:

没有答案