我想禁止搜索机器人使用Robots.txt和可能的.htaccess
访问整个域，包括子域名我想确保将来阻止任何新的子域，而不必每次都在子域的根目录中创建一个子域。
这可能吗？
答案 0 :(得分：0)
如果您想通过robots.txt阻止机器人，则必须为每个子域创建一个。我建议使用一个监视区域文件的脚本，然后自动创建一个。
另一种解决方案是使用HTTP Basic Auth。它会阻止所有机器人访问CNAME，但它会要求用户输入用户名和密码。
或者您可以使用IP表来限制IP范围的访问。
您可以使用多种解决方案来阻止机器人访问您的CNAME，还有更多解决方案可以阻止搜索引擎将您的网页添加到其索引中。
这取决于您是否想要让谁（好机器人，坏机器人，用户等）确定您将使用哪些解决方案。