Google Search Console会返回“否：在'robots'元标记中检测到'noindex'”，尽管robots.txt中包含“ noindex”

Question

我正在尝试索引一个网站， 在Google搜索控制台上，在检查网址时显示“ REQUEST INDEXING”

当我这样做时，“否：在'robots'元标记中检测到'noindex'”显示为未建立索引的错误。

以下是我的robots.txt 用户代理： * Noindex： 站点地图：http://www.mywebsitehere.com/sitemap_index.xml

我在Wordpress托管上。

我已经在以前版本的Google Search Console上尝试过机器人测试器，它/所有链接都显示“允许”。

Answer 1

noindex规则不受Google正式支持：

  

为了维护健康的生态系统并为   潜在的未来开源版本，我们将淘汰所有   处理以下不支持和未发布的规则（例如noindex）   2019年9月1日。

或者，您可以：

机械手元标记中的
• Noindex ：在HTTP响应标头和HTML中均受支持，在允许抓取时，noindex指令是从索引中删除URL的最有效方法。
• 404 and 410 HTTP status codes：这两个状态代码都表示该页面不存在，一旦对其进行抓取和处理，就会从Google的索引中删除这些URL。
• 密码保护：：除非使用标记来表示subscription or paywalled content，否则将页面隐藏在登录名后面通常会将其从Google索引中删除。
• 在robots.txt中不允许使用：搜索引擎只能将他们知道的页面编入索引，因此，阻止对该页面进行爬网通常意味着不会对其内容进行索引。虽然搜索引擎也可能会根据其他页面的链接为URL编制索引，但看不到内容本身，但我们的目标是将来使此类页面的可见性降低。
• Search Console Remove URL tool：该工具是一种快速简便的方法，可从Google的搜索结果中临时删除网址。

来源： A note on unsupported rules in robots.txt | Google Webmaster Central Blog。