我厌倦了Yandex,百度和MJ12bot吃掉了我所有的带宽。他们都不关心无用的robots.txt文件。
我还想用#34; spider"这个词阻止任何用户代理。在它。
我一直在我的.htaccess文件中使用以下代码来查看用户代理字符串并以这种方式阻止它们,但似乎它们仍然可以通过。这段代码是否正确?还有更好的方法吗?
BrowserMatchNoCase "baidu" bots
BrowserMatchNoCase "yandex" bots
BrowserMatchNoCase "spider" bots
BrowserMatchNoCase "mj12bot" bots
Order Allow,Deny
Allow from ALL
Deny from env=bots
答案 0 :(得分:4)
要阻止用户代理,您可以使用:
SetEnvIfNoCase User-agent (yandex|baidu|foobar) not-allowed=1
Order Allow,Deny
Allow from ALL
Deny from env=not-allowed