我正在开发一个Web应用程序。我想使用站点地图文件向网站抓取工具提交网站。
有很多方法可以做到这一点
我们需要做的就是在应用程序的根目录中添加其中一个文件。
我的问题是哪些选项可以使用？
答案 0 :(得分：2)
我会使用此处定义的xml站点地图http://sitemaps.org/
Html站点地图更适合用户导航，而urllist.txt似乎是一种提供雅虎链接的旧方法。
上述网站上定义的格式的XML站点地图是由Google，Yahoo!创建的。和微软三者都认可。
其他人不会有任何伤害，但我相信最大的好处将来自xml站点地图。
至于压缩，这取决于你，如果你想节省你的带宽然后gzip它，但请记住，未压缩时它必须不大于10mb。