标签: javascript php web-scraping
我试图从网站(电影列表)中搜集一些数据 - 但网站一次只显示50个左右,并要求用户点击按钮加载更多。有没有办法我可以编写单击此按钮的脚本或以某种方式循环数据?该网站不在我的服务器上。 (试图从Virgin Media网站获取Sky电影列表)
http://anywhere.virginmedia.com/on-demand/browse/movies/
答案 0 :(得分:1)
使用ajax加载数据,而不仅仅是隐藏,你需要一个网络刮刀来解析并触发点击“加载更多”按钮,直到显示所有数据。
查看Goutte,Symfony使用的PHP抓取工具。