搜狗蜘蛛即使在阻止之后仍然在点击我们的网站

Question

我们的网站获得了很多来自“搜狗网络蜘蛛”的点击量，所以我们想到了使用htaccess规则阻止它。我们创建了以下规则 -

RewriteCond %{HTTP_USER_AGENT} Sogou [NC]
RewriteRule ^.*$ - [L]

然而，我们仍然从搜狗出来。我想知道我应该在这个规则中做些什么改变来阻止搜狗。

感谢你，

Answer 1

正如@faa所说，你实际上并没有阻止任何事情：

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Sogou [NC]
RewriteRule ^.*$ map.txt [R=403]

确保你有RewriteEngine On和[R = 403]。

您仍然可以在访问日志中看到来自它们的点击，但是如果没有发送任何数据和403禁止标题的组合，您应该会看到点击最终消失。即使他们继续抓取您的网站，它也不应再在您的服务器上产生如此多的额外负载。