奇怪的Robots.txt更新问题

Question

我有一个非常奇怪的robots.txt问题...... 我已定期更新我的机器人数月，没有任何问题。几天前，我发现了这个问题。我已更新FTP文件夹中的漫游器，文件已更新。现在，如果我从浏览器中看到这个，我会看到旧版本。几天以来，谷歌甚至都没有更新它。如果我进入搜索控制台，看到谷歌功能，我就是这样：

所以在左边你可以看到，我在浏览器中看到的内容以及google看到的内容，在右边你可以看到我的真实文件，就像它出现在ftp中一样。不同之处在于最后5行。还有站点地址帮助，请参阅，从另一个州加载，正确的版本，文件版本。相反，我和谷歌看到旧的...我不知道它是否有用，但我使用的是谷歌DNS。

编辑：尝试使用电信DNS更改我的电脑连接上的DNS，现在我可以看到新的机器人了。但谷歌仍然没有看到它

Answer 1

出现同样的问题，因为我的robots.txt几天内无法正确显示给Google。 Google可能需要一段时间来抓取您的网站并检查您的robots.txt - 有时它会立即完成，有时可能需要几天时间。我建议你等一会再检查一下。甚至可以尝试使用具有不同网络（或移动网络）的计算机。

我建议您尝试上传（如果您还没有）将文件上传到Google以加快抓取速度。查看此链接 - https://support.google.com/webmasters/answer/6078399?hl=en

Answer 2

问题在于cloudflare缓存..刷新问题已解决