htaccess阻止除我允许的所有机器人/爬虫/蜘蛛

时间:2017-09-02 17:03:18

标签: .htaccess

我正在通过htaccess寻找一个激进的阻止,而不是robots.txt

我不想在太阳下列出每个不友好的僵尸程序,而是将它们全部阻挡,只允许我想要的那些。

经过一些研究后,我想出了这个,它应该阻止我列出的所有内容,包括没有识别自己的用户代理,只是空白或被识别为\

这会有用吗?

RewriteCond %{HTTP_USER_AGENT} (bot|robot|crawl|krawler|spider|libwww-perl.*|-?|\ ) [NC] #blocked
RewriteCond %{HTTP_USER_AGENT} !(googlebot|bingbot|msnbot|yahoo) [NC] #allowed
RewriteRule - [F]

0 个答案:

没有答案