我有一个域名（例如domain.com），对所有用户都是公开的，我有一个通用域名的秘密子域名（例如site1.secretdomain.com）（此处为secretdomain.com）仅供管理员使用站点。
我不希望谷歌或其他搜索引擎索引秘密域或其子域。你对此有什么想法吗？我认为robots.txt不起作用，因为它会对所有域进行更改。
答案 0 :(得分：0)
一个不太傻瓜的解决方案是删除或发布NO-Follow指令以对子域名页面的任何引用以及robots.txt中的其他必要更改。
另一个稍微贵一点，但更具体但却务实的说法是调查CAPTCHA或Google's ReCaptcha。
从理论上讲，如果没有太多的研究，我想这个问题的典型方法是根据请求提供独特的加密/某种形式的挑战（计算上昂贵的问题）并使用该解决方案来验证会话来自用户。 即使是最先进的Crawler也可以使用有限的Javascript执行预算;并且一旦筋疲力尽将决定转移到其他页面。提出合适的挑战，优化页面设计以考虑负载延迟，并且您拥有一个对所有人而不是机器人开放的子域。