php curl - 浏览器与脚本

时间:2013-01-04 00:07:48

标签: php browser curl web-crawler

所以我试图通过PHP中的CURL抓取一些网页。

当我通过网络浏览器和php脚本查看页面时,我遇到的结果不同。

也许他们在通过PHP脚本查看页面时实现了某种功能来重定向页面

任何帮助将不胜感激。

提前谢谢。

2 个答案:

答案 0 :(得分:1)

想象这实际发生并不是不合理的。网站所有者可能希望阻止页面抓取。您可以通过像这样的cURL传递用户代理来测试这个理论(这是iPhone的UserAgent):

curl -A "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5" http://www.apple.com

答案 1 :(得分:0)

您可以有不同的结果,因为您加载的页面可能包含一些ajax内容并且是动态加载的。 cURL只能加载静态html,就是这样。初始负载丢失后的任何事情。如果您想要体验网页剪贴簿等浏览器,请考虑PhantomJS