我们有多个网站来自同一Sitecore实例和相同的生产网络服务器。每个网站都有自己的主要和谷歌新闻站点地图，到目前为止，我们已经在.NET站点的单个robots.txt文件中包含了每个站点地图规范。
我们的搜索引擎优化专家已经在同一个robots.txt中提出了不同域名的存在作为一个可能的问题，我找不到任何文件明确说明这种或那种方式。谢谢。
答案 0 :(得分：4)
至少谷歌应该没问题。但是，它可能不适用于其他搜索引擎，例如Bing。
根据https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt：
站点地图：[absoluteURL]
[absoluteURL]指向站点地图，站点地图索引文件或等效网址。 该网址不必与robots.txt文件位于同一主机上。可能存在多个站点地图条目。作为非小组成员记录，这些记录不与任何特定用户代理相关联，并且可以由所有抓取工具跟踪，前提是不允许这样做。
答案 1 :(得分：1)
实现此目标的最佳方法是处理Sitecore内容树中的Robots.txt。
我们也有类似的结构，我们从Single sitecore实例提供多个网站。
我已经写了一篇博客，请在下面找到。这正是你想要的。
http://darjimaulik.wordpress.com/2013/03/06/how-to-create-handler-in-sitecore/