阻止索引开发站点的搜索引擎

Question

我认为我的一个网站最近从谷歌退市，因为它发现并开始索引我的开发网站。它基本上是我主网站的复制品。 （dev.site.com＆amp; site.com）

无论如何，有没有办法创建一个robot.txt，以防止dev.site.com的任何流量被编入索引，使site.com仍然完全编入索引。

我知道我可以为每个文件分别设置单独的机器人文件，但只有两个机器人文件更容易。特别是因为我使用了具有开发站点的整个站点，并且只想拥有一个简单的工作流程，而不必在推送新版本的站点时更改机器人文件。

Answer 1

也许您可以动态地提供robots.txt文件，例如通过PHP：

<?php
if ($_SERVER['HTTP_HOST'] === 'dev.site.com') {
    echo "...";
} else {
    echo "...";
}

Answer 2

另一种方法是在.htaccess文件中添加一行： 标题设置X-Robots-Tag“noindex，nofollow”

这被认为优于robots.txt，好像有一个指向您的开发者网站的链接，搜索引擎将报告该链接（即使他们没有索引您的网站）。这是在这里提倡的： http://yoast.com/prevent-site-being-indexed/

Answer 3

标准的一部分是每个子域必须拥有自己的robots.txt（如果从dev.site.com访问，则不需要另一个用于site.com/dev）。