Question

我有一个网站，其中有很多子域名指向他们自己的品牌目录。

Google已将所有子域编入索引，我不希望它们显示在Google搜索中。

我添加了一个robots.txt文件，并将每个目录添加到该文件中，并在每个目录中添加了一个.htaccess文件，其中包含以下代码：

Header set X-Robots-Tag "noindex, nofollow"

为什么谷歌仍然会为这些目录编制索引，即使我已经要求他们删除所有其他页面（他们已经完成）但是还是留下了所有目录？

感谢。

Answer 1

谷歌的问题是他们每3-4周重新编制一次索引，有时可能需要更长时间。因此，您将看到的不会立即起作用。

你害怕我必须耐心等待！他们将被删除，谷歌对这些事情只是非常缓慢。

Google可以选择按需删除，但我相信它适用于已删除/不适当的网页..但您可以找到有关该here.的信息

Answer 2

我添加了robots.txt文件并添加了每个目录

但您还必须在每个子域目录中添加robots.txt文件。因为Google不会在域和子域之间寻找连接。您的子域直接显示文件夹内容。

Answer 3

您可以通过 google 提供的 Url Removal Tool 临时删除域。 https://search.google.com/search-console/removals

但是，您需要拥有域才能删除这些网址。此外，删除是暂时的，您需要使用其中一种方法 -

X-Robots-在标题中标记“noindex, nofollow” 使用代理服务器或密码阻止访问站点。