如何用curl欺骗搜索引擎机器人？

Question

如何使用cURL向网站发出请求，并让网站相信我是搜索引擎。

Answer 1

您可以将用户代理设置为Googlebot（有关Google's KB上使用的确切用户代理的详细信息）：

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)');

但这可能并不总是有用！某些网站可能会选择Reverse DNS check声称自己是Googlebot的人。