停止Google索引子域名

Question

我有一个使用通配符子域名的网站，这样当有人注册时，他们就会有自己的子域名。

我不希望google（或其他serach引擎）抓取并索引任何子域名（接受www。）

使用robots.txt进行此操作吗？

此致

Answer 1

我猜不，至少不是直接使用一个全局robots.txt文件。请参阅：http://www.seomoz.org/q/block-an-entire-subdomain-with-robots-txt

在该页面的某处，andykuiper写道：

  

您可以通过robots.txt阻止整个子域名，但是您需要创建一个robots.txt文件并将其放在子域的根目录中，然后添加代码以指示机器人远离整个子域名的内容。

     

用户代理：*   不允许：/

另见：

• http://productforums.google.com/forum/#!topic/webmasters/f5AfW1otAUo
• Disallow or Noindex on Subdomain with robots.txt
• Subdomain disallow search bots via robots.txt

创建一个脚本，将robots.txt文件创建/复制到新创建的子域，一切都应按预期工作。