Question

任何人都可以告诉我如何从谷歌索引中删除子域名，链接到主域名。

假设我的域名是www.myweb.com，我的子域名是cdn.myweb.com。现在，子域的Document Root与主域相同。所以我无法使用robot.txt来停止谷歌索引，因为它也会删除索引主域链接。

我也搜索谷歌，bing和stackoverflow，但我找不到问题的完美答案。有没有解决你的问题？

Answer 1

您可以使用动态robots.txt来实现此目的。像这样......

httpd.conf（.htaccess）：

RewriteRule /robots\.txt$ /var/www/myweb/robots.php

robots.php：

<?php
header('Content-type: text/plain');

if($_SERVER['HTTP_HOST']=='cdn.myweb.com'){ 
    echo "User-agent: *\n";
    echo "Disallow: /\n";
}else{              
    include("./robots.txt");    
}

Answer 2

我正在使用nginx，并且在同一个服务器块中有多个子域。我希望将 www 子域名包含在google的索引中，并将其他子域名排除在外。

首先，在我的nginx配置的服务器块中，我添加了以下内容以在/robots.txt中提供2个不同的文件，具体取决于域。

location ~ /robots.txt {
    if ($host = 'www.example.com') {
      rewrite ^/robots\.txt /robots.www.txt last;
    }
  }

然后在我网站的根目录中，并拥有以下2个文件：

robots.txt 阻止抓取并且是所有子域的默认设置

# Do not crawl subdomain
User-Agent: *
Disallow: /

robots.www.txt ，可以抓取所有网站，只能在 www.example.com/robots.txt

User-agent: *
Disallow:

Answer 3

首先要添加robots.txt，但在我的情况下，因为我的页面已经使用CDN子域编入索引，因此机器人已经太迟了。我找到的最好方法是转到Google网站管理员工具，添加我的cdn域（ cdn.mysite.com ）。然后转到Google索引 - ＆gt;删除网址并删除 / 网址。需要几天时间才能生效。

如何从谷歌索引中删除子域，链接到主域

3 个答案: