如何使用robots.txt阻止用于URL缩短服务的子域?

时间:2016-03-29 03:52:05

标签: seo robots.txt url-shortener nofollow noindex

假设我的域名为example.com。在www.example.com上,我设置了我的主网站(使用Blogger进行设置)并使用go.example.com进行网址缩短(使用GoDaddy缩短服务进行设置)。现在,我想阻止所有go.example.com个网址,以便无法将其编入索引。

如果我在主博客中使用rel="noindex,nofollow"用于go.example.com网址,那么这会影响我的博客搜索引擎优化吗?

1 个答案:

答案 0 :(得分:0)

使用go.example.com上的robots.txt,您不允许机器人符合抓取来自该主机的任何网址:

# https://go.example.com/
User-agent: *
Disallow: /

如果您使用抓取,但希望阻止索引you can’t have both),则必须使用noindex(在meta - robots元素或HTTP标头X-Robots-Tag)。请注意,您无法在noindex属性中使用rel作为链接类型。

也就是说,如果你总是从go.example.com重定向(例如,用301)到规范URL(在另一台主机上),搜索引擎机器人没有理由在go.example.com上索引你的文档,如您不提供任何内容,只提供重定向。