阻止Google（和其他搜索引擎）抓取域名

Question

我们想为某些目的开设一个新域名（称之为PR）。问题是我们希望域名指向我们目前拥有的相同网站。

我们不希望这个新域名出现在搜索引擎（特别是Google）上。

我们排除的选项：

• 无法使用Robots.txt - 它在两个域上的工作方式相同，这不是我们想要的。
• The rel=canonical不会阻止 - 只建议索引类似的网页。原始页面可能最终被编入索引。

有办法解决这个问题吗？

修改

关于.htaccess建议：我们在IIS7上。

Answer 1

rel=canonical 不是一个建议。它会告诉Google确切使用哪个页面。

话虽如此，在提供您不希望编入索引的域中的网页时，您可以使用`x-robots-tag- to block those pages from being indexed:

  

只需将任何支持的META标记添加到新的X-Robots-Tag指令中   用于提供文件的HTTP标头。

     

请勿在Google搜索结果中包含此文档：

X-Robots-Tag: noindex

Answer 2

您是否尝试过setting your preferred domain in Google Webmaster Tools?

这种方法的缺点是它不适用于其他搜索引擎。

Answer 3

我会阻止通过在网站根目录上的相关域名中的.htaccess文件。

BrowserMatchNoCase SpammerRobot bad_bot
Order Deny,Allow
Deny from env=bad_bot

您必须指定主要搜索引擎使用的不同机器人。 或者你可以允许所有已知的网页浏览器和白名单。