robots.txt不更新

Question

今天我收到了一封来自网站管理员工具的电子邮件，声称“Googlebot无法访问CSS和JS文件”。所以我开始更新位于服务器根目录中的robots.txt文件。

原创内容：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/ #<--CAUSE OF THE PROBLEM

Sitemap: http://example.com/sitemapindex.xml

我从文件中删除了“Disallow：/ wp-content / themes /”这一行，然后重新上传了该文件，但是当我在浏览器中查看新文件时，没有任何更改，我接着执行了以下操作：

1. 从根
删除了.txt文件
2. 清除缓存（W3总缓存）

但仍然可以在浏览器中查看robots.txt。这可能只意味着一件事，文件是虚拟生成的吗？我甚至在不同的浏览器中查看，以确保没有缓存。

经过多次搜索后，我找不到为什么我的robots.txt不会更新或者从哪里生成？

这里有没有人对于最新情况有任何想法？

我使用的一些插件：

1. 更好的WordPress Google XML Sitemaps
2. W3 Total Cache
3. Yoast SEO

非常感谢任何帮助，谢谢。

Answer 1

经过几个小时的抨击，试图弄清楚这一个，结果我完全忘记了我启用了Cloudflare。清除缓存完成了这项工作。

希望我的几个小时的痛苦没有白费，并且提醒他们有其他类似问题的人通过阅读它来启用Cloudflare！

Answer 2

我遇到了同样的问题 当我更新robots.txt之前，它恢复为相同的设置；当我删除它时，它又恢复了，因为它似乎是从网站上虚拟创建的 但是当我更新我的WordPress时，它又开始工作了 也许尝试更新wordpress

Answer 3

如果您使用的是cloudflare服务，必须在缓存菜单中清空缓存，否则，您将不得不等待再次清空缓存，具体取决于浏览器缓存的时间。