某些网站无法通过curl php抓取，而它可以与curl一起使用

Question

我尝试用curl php卷曲http://marinas.com：

$url = 'http://marinas.com';

$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_exec($ch);
curl_close($ch);

这不会返回任何东西。虽然如果我尝试使用其他网站，它可以运行，例如google.com。

并且，直接进入CLI的curl http://marinas.com可以...

这对我来说是一个谜。

Answer 1

在发出请求时设置用户代理：

curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);

如果没有用户代理，此站点不会响应请求。上述设置会抓取浏览器的用户代理并将其发送到目标网站。