我正在开展网络抓取项目。从不同的在线商店获取数据,但由于限制只显示几页记录,我无法批量获取数据而不点击"显示更多"底部的按钮,在大多数情况下,该按钮实际上是一个span标签,只有html文本,没有achor标签。那么如何在我的PHP代码中单击该按钮。我使用简单的html dom解析器php库进行抓取。
答案 0 :(得分:1)
您是否尝试过回显脚本以执行点击?
<?php
echo '<script>
$(document).ready(function(){
$("#btn").click();
});
</script>';
?>
答案 1 :(得分:0)
检查id或类,因为大多数站点使用ajax调用来显示更多功能
答案 2 :(得分:0)
使用像PhantomJS或SlimerJS这样的无头网络浏览器将是一个更好的工具,因为该按钮肯定会执行一些javascript事件并动态修改DOM。
否则,请尝试查看Chrome开发工具等网络标签,并检查点击更多按钮时获取更多数据的ajax请求的格式。然后,看看你是否可以模拟该请求格式以从php获取多个页面。