通过htaccess阻止bot / spider

时间:2015-08-23 00:42:59

标签: .htaccess

我试图通过htaccess阻止Baiduspider,但它仍然可以通过。

这是Baiduspider的完全使用者不尊重robots.txt并且没有被htaccess拒之门外:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

这就是我在robots.txt中试图阻止他的东西(我知道这个很可能不是真正的Baiduspider而且模仿者不会尊重robots.txt:

User-agent: Baiduspider 
Disallow: /

这就是我在htaccess中与他打交道的原因。是否有不正确之处或有人建议更好的选择?

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider.* [NC]
RewriteRule .* - [F]

我也在htaccess中试过这个,但仍然没有解决它:

SetEnvIfNoCase user-agent "^Baiduspider" bad_bot 
<FilesMatch "(.*)">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</FilesMatch>

0 个答案:

没有答案