是否可以通过浏览某人的网站来创建站点地图?

时间:2014-02-20 19:46:27

标签: javascript python web

例如,我想知道网站上有哪些子域名等,但没有导航。我可以以某种方式抓取网站并创建站点地图吗?例如,这可以通过www.google.com完成,以找出有images.google.com,drive.google.com等吗?

另外,很抱歉没有很好地标记这个,不确定如何标记它,因为我不确定从哪里开始。

2 个答案:

答案 0 :(得分:0)

当然有可能。查看以下文章中链接的开源搜寻器。

http://en.wikipedia.org/wiki/Web_crawler

答案 1 :(得分:0)

网上有几个免费的站点地图生成器。插入URL,它将以XML格式为您生成站点地图。

我亲自使用的一个:http://www.xml-sitemaps.com/