我正在通过htaccess寻找一个激进的阻止,而不是robots.txt
我不想在太阳下列出每个不友好的僵尸程序,而是将它们全部阻挡,只允许我想要的那些。
经过一些研究后,我想出了这个,它应该阻止我列出的所有内容,包括没有识别自己的用户代理,只是空白或被识别为\
这会有用吗?
RewriteCond %{HTTP_USER_AGENT} (bot|robot|crawl|krawler|spider|libwww-perl.*|-?|\ ) [NC] #blocked
RewriteCond %{HTTP_USER_AGENT} !(googlebot|bingbot|msnbot|yahoo) [NC] #allowed
RewriteRule - [F]