Question

我正在使用CURl检索我正在处理的小型搜索引擎项目的页面，但在某些页面上它并没有检索整个页面。

我设置的功能是：

public function grabSourceCode($url) {
    // Try and get source code using @file_get_contents
    $ch = curl_init();
    $timeout = 50;
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
    curl_setopt($ch, CURLOPT_USERAGENT,'NameBot/0.2');
    $source_code = curl_exec($ch);
    curl_close($ch);
    return $source_code;
  }

我正在使用以下方式检索页面：

$Crawler->grabSourceCode('https://sedo.com/search/searchresult.php4?keyword=cats&language_output=e&language=e')

在this页面上的

我得到了所有内容，但在this页面上，我只获得了该页面的一部分。

我尝试使用file_get_contents()，但结果相同。

似乎是动态加载页面的问题，当我在JavaScript阻止模式下运行浏览器时，它显示与CURl函数相同的结果。

无论如何在PHP中执行此操作，还是我必须查看另一种语言，例如JavaScript？

谢谢，丹尼尔

CURl没有返回整个页面

0 个答案: