例如,我想知道网站上有哪些子域名等,但没有导航。我可以以某种方式抓取网站并创建站点地图吗?例如,这可以通过www.google.com完成,以找出有images.google.com,drive.google.com等吗?
另外,很抱歉没有很好地标记这个,不确定如何标记它,因为我不确定从哪里开始。
答案 0 :(得分:0)
当然有可能。查看以下文章中链接的开源搜寻器。
答案 1 :(得分:0)
网上有几个免费的站点地图生成器。插入URL,它将以XML格式为您生成站点地图。
我亲自使用的一个:http://www.xml-sitemaps.com/