我的ALLOWED_HOSTS会设置阻止googlebot吗？

Question

如果我的ALLOWED_HOSTS设置为.mywebsite.com，是否会阻止Google抓取我的网站？机器人不是有很多googlebot吗？对不起，我对此事有点无知..

Answer 1

您应该在网络服务器上使用robots.txt文件阻止漫游器访问网站。 http://www.robotstxt.org/robotstxt.html

谷歌机器人不使用“googlebot”主机，而是使用用户代理。如果bot会使用“googlebot”作为主机，那么如果网络服务器配置了多个拥有不同主机的网站，它将无法访问您的网站。