为什么Google网站站长工具会完全误读我的robots.txt文件？

Question

以下是我的robots.txt文件的全部内容。

User-agent: *
Disallow: /marketing/wp-admin/
Disallow: /marketing/wp-includes/

Sitemap: http://mywebsite.com/sitemap.xml.gz

显然是由Wordpress生成的。我没有手动创建一个。

然而，今天我注册了Google网站管理员工具。这是Google网站管理员工具的内容：

User-agent: *
Disallow: /

...所以我的所有网址都被封锁了！

在Wordpress中，设置＆gt;阅读＆gt;搜索引擎可见性：“不阻止搜索引擎索引此站点”未选中。我最近没有取消选中它。 （Google网站管理员工具告诉我它已于2013年11月13日下载了我的robots.txt文件。）

...那么为什么它还在阅读我的所有网页都被禁止的旧版本，而不是新版本？

需要一段时间吗？我应该耐心吗？

我的站点地图行末尾的“.gz”是什么？我正在使用Yoast All-in-One SEO包插件。我认为插件添加了“.gz”，无论是什么。

Answer 1

您可以在更改robots.txt后再次要求Googlebot抓取。有关信息，请参阅Ask Google to crawl a page or site。

Sitemap文件告诉Googlebot有关您网站结构的更多信息，并允许其更有效地抓取。有关详细信息，请参阅About Sitemaps。

.gz只是告诉Googlebot生成的站点地图文件已被压缩。

Answer 2

可以在此处找到关于此主题的WordPress讨论：https://wordpress.org/support/topic/robotstxt-wordpress-and-google-webmaster-tools?replies=5