问题是我们使用有点品牌的短域作为网址缩短器。我们的品牌短域名是d.so.city
现在每当我在Google上搜索网站:so.city时,所有d.so.city链接都会显示在真正的网站网址之前。我不希望抓取这个有点网址。我知道这可以通过robots.txt轻松完成子域名,但是我们无法访问子域名的robots.txt文件,因为它与bitly完全链接。
我也尝试过谷歌网站管理员的参数拦截,但也没有运气。我也经历了Bitly文档,但也找不到任何相关内容。
以下是我的网站搜索现在的样子快照:
答案 0 :(得分:0)
我认为在d.so.city下为每个页面设置一个无索引元标记应该可以解决问题。
要阻止大多数搜索引擎网络抓取工具为您网站上的网页编制索引,请将以下元标记放入网页的部分:
<meta name="robots" content="noindex">
要防止Google网页抓取工具为网页编制索引:
<meta name="googlebot" content="noindex">
如果您要告诉Google网站管理员参数阻止,它实际上是在阻止抓取特定网页后会发现的内容。