我看到此网站的[how to block curl or file_get_contents页面。该代码用于.htaccess,用于阻止php的file_get_contents。
RewriteEngine On
RewriteCond% {HTTP_USER_AGENT} ^ $ [OR]
RewriteCond% {HTTP_ACCEPT} ^ $
RewriteRule ^ - [L, F]
我的问题是阻止谷歌机器人的可能性是什么?
答案 0 :(得分:1)
您可以访问Google Webmaster Tools帐户和fetching a page on your site as Googlebot进行测试。那将是一个明确的考验。
但看起来代码阻止了没有价值的用户代理。 Google始终将自己标识为Googlebot。它还为v
HTTP标头提供了值。所以我觉得你没事。