如何解决-已被robots.txt阻止但已建立索引?

时间:2018-10-19 10:39:35

标签: wordpress google-analytics nofollow noindex

我刚收到一封有关我的网站的索引覆盖率问题的电子邮件。 以下文件已被Google索引:

root-of-my-site/files/custom.js

请注意,尽管Google已为该文件夹中的URL编制了索引,但我不允许我的.htaccess中的/files文件夹。

请让我知道如何永久删除我的URL!

1 个答案:

答案 0 :(得分:1)

请阅读Goole本身的这篇文章:https://support.google.com/webmasters/answer/7440203?hl=en

一些从那里:

  

已被robots.txt阻止,但已编入索引:尽管已被robots.txt阻止,但该页面已被编入索引(Google始终尊重robots.txt,但这对if someone else links to it无济于事)。这被标记为警告,因为我们不确定您是否打算从搜索结果中阻止该页面。如果您确实想阻止此页面,robots.txt is not the correct mechanism to avoid being indexed.为避免被索引,您应该use 'noindex'或禁止使用auth匿名访问该页面。您可以使用robots.txt tester来确定哪个规则阻止了此页面。由于robots.txt的原因,该页面显示的所有代码段都可能不是最佳选择。如果您不想阻止此页面,请更新robots.txt文件以取消阻止页面。

您可以观看此视频以了解更多详细信息:https://www.youtube.com/watch?v=WlniBqL_0Zc