需要使用位于同一目录级别的robots.txt来阻止子域

Question

我有一个问题

我有域名，例如www.testing.com和new.testing.com所以我不想在任何搜索引擎中显示new.testing.com。我在new.testing.com上添加了一个robots.txt。两个站点都有相同的父目录

--httpdoc
----testing.com
----new.testing.com

所以我想知道我可以使用一个robots.txt来测试这两个网站是否有可能???

如果可能，请建议我解决。

Answer 1

您可以做的最好的事情是添加单独的robots.txt文件。在每个目录中放一个。你应该

• testing.com/robots.txt和
• new.testing.com/robots.txt

将robots.txt文件添加到new.testing.com后，您应该添加以下代码以阻止搜索引擎。

User-agent: *
Disallow: /

Answer 2

RewriteEngine on
RewriteCond %{HTTP_HOST} ^subdomain.website.com$
RewriteRule ^robots\.txt$ robots-subdomain.txt

然后将以下内容添加到/robots-subdomain.txt：

User-agent: *
Disallow: / 

Answer 3

遵循内部规则对我有用

RewriteEngine On
RewriteCond %{HTTP_HOST} ^subdomain\.maindomain\.com$ [NC]
RewriteRule ^/robots.txt$ /nobots.txt [L]

并按如下所示将'nobots.txt'添加到根目录，

User-agent: *
Disallow: /