循环访问远程数据

Question

我试图从网站（电影列表）中搜集一些数据 - 但网站一次只显示50个左右，并要求用户点击按钮加载更多。有没有办法我可以编写单击此按钮的脚本或以某种方式循环数据？该网站不在我的服务器上。 （试图从Virgin Media网站获取Sky电影列表）

http://anywhere.virginmedia.com/on-demand/browse/movies/

Answer 1

使用ajax加载数据，而不仅仅是隐藏，你需要一个网络刮刀来解析并触发点击“加载更多”按钮，直到显示所有数据。

查看Goutte，Symfony使用的PHP抓取工具。