从域中获取所有有效的网址

Question

我在域raymond.li上有一个网站。我想要所有网址的完整列表，所以我尝试了类似的方法

wget -r --spider raymond.li

我也尝试了在线站点地图生成器，但是像this one这样的页面从未出现在我尝试过的任何地方。

如何获取域中所有可访问URL的完整列表？

Answer 1

您可以使用站点地图，该站点地图基本上是该域上每个URL的XML列表。但是，除了爬网之外，没有其他通用的解决方案。如果您使用爬虫，请确保使用robots.txt。