需要在robots.txt

Question

早上好。

所以，我遇到了一个棘手的情况。我的环境是2服务器镜像设置。我有2个子域，可以在需要时专门针对每个服务器。我想禁止索引2个子域而不影响www。

例如，我有sub1.domain.com/sub2.domain.com/www.domain.com。它们都指向同一个Web根目录。仅仅说在robots.txt中禁止用户代理将无法正常工作，因为它将删除www的索引。

请随时根据需要提出任何问题。

谢谢！

Answer 1

您可以放置​​一个robots.txt文件，并将其命名为no-index-robots.txt。你只需要：

User-agent: *
Disallow: /

在那里。然后在文档根目录的htaccess文件中添加：

RewriteEngine On
RewriteCond %{HTTP_HOST} ^(sub1\.|sub2\.)domain\.com$ [NC]
RewriteRule ^robots\.txt$ /no-index-robots.txt [L]