我试图通过htaccess阻止Baiduspider,但它仍然可以通过。
这是Baiduspider的完全使用者不尊重robots.txt并且没有被htaccess拒之门外:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
这就是我在robots.txt中试图阻止他的东西(我知道这个很可能不是真正的Baiduspider而且模仿者不会尊重robots.txt:
User-agent: Baiduspider
Disallow: /
这就是我在htaccess中与他打交道的原因。是否有不正确之处或有人建议更好的选择?
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider.* [NC]
RewriteRule .* - [F]
我也在htaccess中试过这个,但仍然没有解决它:
SetEnvIfNoCase user-agent "^Baiduspider" bad_bot
<FilesMatch "(.*)">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</FilesMatch>