机器人的通用IP重定向

Question

我帮助管理几百个网站，我们经常收到所有者的请求，以防止搜索引擎索引他们网站的IP地址。然后我们修改他们的重定向文件以包含以下内容（当然是根据他们自己的IP地址和域名自定义），提供disallow文件以便它不会被编入索引：

RewriteCond %{HTTP_HOST} ^127\.0\.0\.1$ [NC] 
RewriteRule robots.txt robots_disallow.txt [I,O,L]

这可以正常工作，但必须按IP配置，因为它是硬编码的。如何编写通用重写条件以在输入的任何 IP地址上运行？我已经读过你可以进行Regex验证，但我还没有在网上看到很多文档，告诉我们如何为多个未知数字做这些。

有人有什么建议吗？

谢谢！

Answer 1

您可能最好使用301重定向到网站的实际域名。这会让蜘蛛知道他们正在抓取的资源的正确位置。所以我通常会在重写规则的开头就是这样的事情：

RewriteCond %{HTTP_HOST} !^www\.yourdomain\.com$
RewriteRule ^(.*)$ http://www.yourdomain.com/$1 [R=301,L] 

这也有利于所有网络流量，而不仅仅是蜘蛛。此外，它还会将流量指向yourdomain.com，直至www.yourdomain.com