我正在尝试分析一些页面并获取所有必要的信息，我需要知道他们的网络结构（网站地图 - 网页地图，类似于此Czech pages或Harvard pages）
是否有一些在线服务或计划，我向其提供了网址，然后显示了网站地图（我知道可以有链接到其他页面，但如果该服务可以选择只搜索某个级别，那就太棒了）
答案 0 :(得分：0)
站点地图通常存在于位于网站根目录的文件中，并命名为sitemap.xml。
否则，如果它不存在，您可以尝试查看名为robots.txt文件的文件（仍在网站的根目录）
可以像robots.txt中那样定义：
网站地图：http://www.abcdef.com/sitemap.xml