假设我们有Twitter，每个个人资料都需要在搜索引擎中编入索引，Twitter如何处理他们的站点地图？是否有类似“regex”站点地图的域名或者是否为每个用户重新生成站点地图？
对于您不知道的页面，这是如何工作的，所以动态页面？以维基百科为例，他们如何确保搜索引擎将所有内容编入索引？
答案 0 :(得分：11)
最有可能的是，他们不打算做站点地图。
对于高度动态的网站，站点地图无济于事。谷歌只会为一些金额编制索引，如果谷歌考虑重新访问它之前的所有内容，你就不会获得太多收益。
对于缓慢变化的网站，这是不同的。站点地图一方面告诉谷歌，哪些站点可能根本没有访问过，而且（更重要的是）哪个站点没有改变，因此不需要重新访问。
但sitemap.xml机制无法扩展到庞大且高度动态的网站，例如twitter。
答案 1 :(得分：5)
许多系统使用动态生成的站点地图。
您可以通过Webmaster Tools将任何站点地图上传到Google（该服务是免费的） - 优化＆gt;站点地图。它不一定是sitemap.xml;它也可以是JSP或ASPX页面。
网站站长工具可让您为单个网站上传多个不同的站点地图。但是，我不确定站点地图的最大数量是多少。
某些抓取工具支持Sitemap指令，允许在表单中的同一robots.txt中使用多个Sitemap，如下所示：
Sitemap: http://www.yoursite.com/profiles-sitemap.xml
Sitemap: http://www.yoursite.com/sitemap_index.xml
修改
Microsoft网站就是一个很好的例子： robots.txt文件包含许多站点地图条目。例如：
Sitemap: http://www.microsoft.com/en-us/sqlazure/sitemap.xml
Sitemap: http://www.microsoft.com/en-us/cloud/sitemap.xml
Sitemap: http://www.microsoft.com/en-us/server-cloud/sitemap.xml
Sitemap: http://www.microsoft.com/france/sitemap_index.xml
Sitemap: http://www.microsoft.com/fr/ca/sitemap.xml
Sitemap: http://www.microsoft.com/germany/kleinunternehmen/gsitemap.aspx
Sitemap: http://www.microsoft.com/germany/newsroom/sitemap.xml
如您所见，某些站点地图是静态的（XML），有些是动态的（ASPX）。