我如何告诉谷歌不要完全抓取域名

Question

我在opencart中有一个网站说abc.com我已经用xyz.com打开了一个多商店，我发现Google也开始抓取xyz.com我不想要。 这两个域都指向同一个目录，所以我想只能有一个robots.txt文件。我对谷歌网站管理员或搜索引擎优化不是很有经验，所以请告诉我如何告诉谷歌忽略所有以xyz.com开头的网址。

Answer 1

如果您使用 Apache 和 mod_rewrite ，则可以添加重写规则，以便为xyz.com提供不同的robots.txt文件：

RewriteCond %{HTTP_HOST} xyz.com$ [NC]
RewriteRule ^robots.txt robots_xyz.txt [L]

然后创建robots_xyz.txt：

User-agent: *
Disallow: /