我有这个Rails应用程序，域名为abc.com。我在此子域stats.abc.com中也为Piwik统计信息设置了单独的子域。
Googlebot也以某种方式列出了我的子域名的一些链接。
http://abc.com/login
http://stats.abc.com/login
http://abc.com/signup
http://stats.abc.com/signup
stats的人会引用应用中的同一页面，但会被视为完全不同的网站。
在此问题之后，我已在robots.txt中加入stats，但想知道是否有任何适当的方法可以阻止此问题，因为我将来可能会有新的子域名。这是我在robots.txt
User-agent: *
Disallow: /
感谢。
答案 0 :(得分：0)
Robots.txt会阻止它。在您发布网站之前记住这一点非常重要 - Google速度非常快。有些搜索引擎会忽略robots.txt。最好的办法是没有不适合你情况的子域名。我建议阅读子域名的真正目的。您不应该在不同的域上提供相同的站点。您应该在不同（子）域上使用301直接或不同的内容...除非stats.abc.com包含不同的材料，否则它不应该是子域。你究竟需要这么多子域名？
你可能检测到用户代理，如果它是机器人，也会返回404