使用IIS为不同的子域指定robots.txt

Question

我在www.example.com上有一个网站，并且在beta.example.com和preview.example.com上也有两个临时平台，我需要一种方法来为每个使用IIS或类似的东西设置不同的robots.txt

这样做的原因是我想禁止所有除www域之外的所有蜘蛛，因为它们正在捕获重复的内容

任何人都知道这是否可行？

Answer 1

您是否有理由不能拥有3个不同的robots.txt文件，每个主机一个？

如果您需要自动处理此问题，我建议使用HTTPHandler来处理robots.txt的请求。如果Request.Url.Host是www.example.com，请返回robots.allow.txt，否则返回robots.deny.txt。

如果您对此想法感兴趣并需要一些示例代码来帮助您入门，请告诉我。