如何防止Google抓取UserDir网址（但不是真实域名）？

Question

我们的客户在真实域名上线之前在UserDir网址上构建网站。 UserDir URL始终采用以下格式：

http://1.2.3.4/~johndoe

有时，Google会抓取这些UserDir网址，即使网站在http://johndoe.com上生效，临时网站也会显示在结果中

因此，一旦客户端在http://johndoe.com上运行，如何阻止Google抓取UserDir地址？

（当然，我需要谷歌抓住真正的域名，因为搜索引擎优化对我们的客户很重要）

Answer 1

我为此目的使用规范标签。如果您将规范标记放在index.html文件上，如下所示：

<link rel="canonical" href="http://johndoe.com/" />

然后当Googlebot在http://1.2.3.4/~johndoe找到它时，它会知道它是http://johndoe.com/的副本，而Google会为正确的索引编制索引。 Googlebot在抓取真实网站时会看到相同的标记，并且没有自我引用规范的问题。