我尝试使用XPath解析HTML文档。我是"取得"使用php中的file_get_contents()
函数的HTML文档的内容。
问题在于我永远无法获得页面的完整内容,因为有一些JavaScript实现了在用户向下滚动时请求更多内容。这个页面就是一个例子:demo。
我已经阅读了一些"浏览器组件"在answer on another stack exchange portal中提到但我无法找到符合我特殊需要的东西。
有没有办法用php触发这些滚动事件?我是否可以获得整页内容?
答案 0 :(得分:0)
我假设您要抓页。 我会避免在这里使用PHP。 使用 PhantomJS 抓取页面可能会带来更加可靠的方法。
然而你问了一个php解决方案。
使用的技术称为ajax分页。 您可以使用浏览器的Web开发人员工具找出URL和参数(查看工具的网络部分)。
我更喜欢Firebug for Firefox。
获得正确的参数后,您可以使用 file_get_contents()调用此URL,通过调整参数可以加载以下页面。