使用java从网页中提取HTML内容

Question

我正在尝试使用JAVA提取网页的HTML内容。但问题是我试图加载的页面，如果用户向下滚动则继续扩展。所以我的代码只能提取第一次加载的页面。如何提取通常在用户向下滚动时生成的HTML代码的剩余部分。

Answer 1

打开firebug或chrome开发工具。查看网络选项卡。当您向下滚动时，将进行ajax调用。注意这个网址和参数。你将手动调用相应的url（ajax url）并解析可能是或不是html的响应。