我的网站包含大量（数千或数万）动态网址，以及一些静态网址。
理论上，由于主页上有一些狡猾的搜索引擎优化链接，任何蜘蛛都应该可以通过蜘蛛友好搜索来抓取网站并发现所有动态网址。
鉴于此，我是否真的需要担心花费精力来生成包含所有这些URL的动态站点地图索引，还是应该确保所有主要静态URL都在那里？
我生成这个的实际方式并不是一个问题 - 我只是在质疑实际上是否需要。
确实，谷歌常见问题解答（是的，我知道他们不是唯一的搜索引擎！）关于此建议包括站点地图中可能无法通过抓取发现的网址;基于这一事实，那么，如果您网站中的每个网址都可以从另一个网址访问，那么您的网站地图中确实需要的唯一网址是精心设计的网站吗？
答案 0 :(得分：5)
如果有多种方法可以访问某个页面，则应为每个包含实际内容的页面选择一个主URL，并将这些URL放在站点地图中。即站点地图应包含指向实际内容的链接，而不是每个可能的URL以获取相同的内容。
还要考虑在具有此主URL的页面中放置规范元标记，以便蜘蛛可以识别页面，即使它可以通过不同的动态URL访问。
蜘蛛只花费有限的时间搜索每个网站，因此您应该尽快找到实际内容。站点地图可以提供很大的帮助，因为您可以使用它直接指向实际内容，以便蜘蛛不必查找它。
我们使用这些方法获得了相当不错的结果，Google现在为我们的动态内容编制了80-90％的索引。 ：）
答案 1 :(得分：1)
在SO播客中，他们谈到了您可以在站点地图中包含/提交的链接数量的限制（每页大约500页，基于pagerank的页面限制？）以及您需要如何在多个页面上拆分它们。
鉴于此，我真的需要担心 关于花费生产的努力 包含的动态站点地图索引 所有这些网址，或者我应该简单 确保所有主要的静态URL 在那里？
我的印象是，站点地图不一定是关于断开连接的页面，而是关于增加现有页面的爬行。根据我的网站地图包含网站地图的经验，即使在显着链接的情况下，次要网页也更有可能出现在Google搜索结果中。根据您网站的pagerank /入站链接等，这可能不是问题。