防止蜘蛛跟随匹配URL

Question

如何阻止spriders抓取以mydomain.com/abc ...

开头的网页

例如mydomain.com/abcSGGSHS或mydomain.com/abc6bNNha

我想我需要在web root的.htaccess中添加某种正则表达式，对吗？

Answer 1

启用mod_rewrite后，您可以执行以下操作

RewriteEngine on 
RewriteBase / 
RewriteCond %{HTTP_USER_AGENT} ^YourBadSpiderName [OR]
RewriteCond %{HTTP_USER_AGENT} ^AotherBadSpider
RewriteCond %{REQUEST_URI} ^abc
RewriteRule ^$ http://mydomain.com/404.html [NC,L]

您必须相应地更新蜘蛛名称。如果机器人改变了他的用户代理，那么让我们说'Mozilla / Firefox'，你运气不好..