如何阻止谷歌抓取我的Bitly Branded短域?

时间:2016-12-24 08:59:39

标签: seo robots.txt google-webmaster-tools googlebot google-crawlers

问题是我们使用有点品牌的短域作为网址缩短器。我们的品牌短域名是d.so.city

现在每当我在Google上搜索网站:so.city时,所有d.so.city链接都会显示在真正的网站网址之前。我不希望抓取这个有点网址。我知道这可以通过robots.txt轻松完成子域名,但是我们无法访问子域名的robots.txt文件,因为它与bitly完全链接。

我也尝试过谷歌网站管理员的参数拦截,但也没有运气。我也经历了Bitly文档,但也找不到任何相关内容。

以下是我的网站搜索现在的样子快照:

enter image description here 我不希望这些d.so.city链接出现在谷歌搜索中。如果有人能帮忙解决这个问题,我们将非常感激。

1 个答案:

答案 0 :(得分:0)

我认为在d.so.city下为每个页面设置一个无索引元标记应该可以解决问题。

要阻止大多数搜索引擎网络抓取工具为您网站上的网页编制索引,请将以下元标记放入网页的部分:

<meta name="robots" content="noindex">

要防止Google网页抓取工具为网页编制索引:

<meta name="googlebot" content="noindex">

如果您要告诉Google网站管理员参数阻止,它实际上是在阻止抓取特定网页后会发现的内容。

参考:https://support.google.com/webmasters/answer/93710?hl=en