我遇到了一个新网站的实际问题，我正试图在Google网站管理员工具中进行配置。我一直收到消息“无法访问的robots.txt”，谷歌说它无法抓取我的网站，因为它无法访问robots.txt文件。
正如您将看到的那样，文件存在，我检查了服务器标题，并且它们返回了文件的状态200.
http：// www。 top5beauty.co.uk / robots.txt（没有空格）
奇怪的是，当我拿到http：// top5beauty.co.uk / robots.txt（没有www）时，它发现没问题，即使这实际上重定向到了www
有人有任何建议吗？
答案 0 :(得分：0)
robots.txt最多可能需要2天才能获取，如果您刚刚创建了该文件，则需要等待:-)
答案 1 :(得分：0)
您可以在网站管理员工具中执行“Googlebot抓取”测试，以便立即查看是否可以访问任何网页/网址/文件
您已设置“禁止：”规则，该规则会阻止所有访问。如果您想要编制索引，则应尽快将其删除。
要了解有关robot.txt的更多信息，您应该访问this official documentation，并且由于Googlebot方法的最新变化，我建议您阅读最近Googlebot post我就该主题撰写的文章。
干杯