你能推荐任何工具吗？我们应该建立自己的吗？我们应该手动创建站点地图吗？
答案 0 :(得分：2)
我个人使用了Google的sitemapgen这个Python脚本，它根据XML配置文件和网址列表自动生成站点地图。
似乎还有一个名为googlesitemapgenerator的新工具，根据其网站更新并支持更多格式：
Google此前发布了sitemapgen， Sourceforge是一个基于Python的工具。 与sitemapgen相比，谷歌 Sitemap Generator是下一代产品 依赖于Web服务器的工具 过滤而不是抓取， 提供增强功能，以及 支持更多格式。
答案 1 :(得分：2)
IIS的 Google Sitemap生成器根据对服务器的实际HTTP请求生成站点地图（与依赖主页的可抓取路径的其他站点地图生成器不同，Google的方法实际上并不抓取您的位点）。
它非常适合动态应用程序，特别是那些仅通过用户查询显示大量数据的应用程序。
答案 2 :(得分：0)
我总是使用这个XML-Sitemap。这是一个在线网站，而不是一个独立的应用程序..
答案 3 :(得分：0)
如果你有这种能力，我会建议你建立自己的。站点地图应包含您要抓取的所有文件，并不总是站点中的每个文件。自动下载脚本可能需要大量配置来处理您不希望在站点地图中列出的内容。 除非您希望网站上的每个文件都是蜘蛛网，否则在这种情况下，列出的其中一个脚本可能是个不错的选择。我自己，我通常会更多地投入搜索引擎优化，以及控制哪些页面被提交以及对我来说重要的细节。
答案 4 :(得分：0)
最大的问题是：您的网站有多大：如果所有网页都链接在您的网站上，那么您可能根本不需要任何网站地图。它是＆lt; 50000你可以使用互联网上的众多脚本之一。如果它大于＆gt; 50000你应该制作自己的sitemap.xml。因为那时你在分销搜索引擎优化业务，你需要绝对控制你的网站和你与谷歌（和什么时候）沟通，因为那时你可以控制：好吧，我提交了谷歌25.000页，他爬了99％的他们并索引（根据谷歌网站管理员工具）30％，我从它获得X访问，让我们再添加25.000 ......等等。
答案 5 :(得分：0)
GSiteCrawler是我过去使用过的，它对我有好处。