即使没有robots.txt文件，搜索引擎也能找到XML站点地图文件吗？
如果robots.txt不存在; http://yourweb/sitemap.xml是搜索引擎将使用的默认网址吗？
在sitecore多站点环境中，可以使用哪种最佳技术来实现/sitemap.xml URL到服务器多站点地图的处理程序？
以下是上一个问题的一些选项：
答案 0 :(得分：4)
我建议你使用一个模块：
https://marketplace.sitecore.net/Modules/U/Ultimate_Sitemap_XML.aspx
或 https://marketplace.sitecore.net/en/Modules/XML_Sitemap_Generator.aspx
或 https://marketplace.sitecore.net/en/Modules/Sitemap_XML.aspx
我首选的是它，它与Sitecore 8兼容。
该模块包括以下新功能：
共享内容支持
用于在页面上显示站点地图的自定义MVC渲染
内容控制的站点地图设置
页面站点地图基本模板（由页面模板继承并添加 与站点地图相关的元字段）
保留原始Sitemap XML功能：
多站点支持
robots.txt文件生成和更新
物理XML站点地图文件生成
/sitemap.xml动态处理程序
在发布时向搜索引擎提交自动站点地图
模块文档也可以放在Read Me部分包中， 可在安装期间或Sitecore最佳实践网站模块页面上查看。
对于Robots.txt，您可以使用此模块
https://sitecoreclimber.wordpress.com/2014/07/27/sitecore-multisite-robots-txt/ 或
http://sitecorecorner.com/2014/07/30/handling-sitecore-multi-site-instance-robots-txt/
这些模块正在创建一个处理程序，而您在没有创建物理文件的情况下拥有robots.txt。