我正在使用CURl检索我正在处理的小型搜索引擎项目的页面,但在某些页面上它并没有检索整个页面。
我设置的功能是:
public function grabSourceCode($url) {
// Try and get source code using @file_get_contents
$ch = curl_init();
$timeout = 50;
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt($ch, CURLOPT_USERAGENT,'NameBot/0.2');
$source_code = curl_exec($ch);
curl_close($ch);
return $source_code;
}
我正在使用以下方式检索页面:
$Crawler->grabSourceCode('https://sedo.com/search/searchresult.php4?keyword=cats&language_output=e&language=e')
在this页面上的我得到了所有内容,但在this页面上,我只获得了该页面的一部分。
我尝试使用file_get_contents()
,但结果相同。
似乎是动态加载页面的问题,当我在JavaScript阻止模式下运行浏览器时,它显示与CURl函数相同的结果。
无论如何在PHP中执行此操作,还是我必须查看另一种语言,例如JavaScript?
谢谢,丹尼尔