从整个网站获取链接列表（实际URL）

Question

请耐心等待我，我不是技术人员！

我有一个网站（1000页），需要获得每个网页上显示的链接列表。例如，在页面上（例如，www.domain.com/reports），可能会有一个链接'点击此处查看报告'链接到网址www.domain.com/document1和链接'点击查看其他报告'链接到网址www.domain.com/document2。所以我需要的是一个列表显示：

网页：网址链接： www.domain.com/reports www.domain.com/document1,www.domain.com/document2

每页有1000个网页和大量链接，因此手动工作需要很长时间。

有没有办法获得这样的列表，例如，使用Google？

感谢大家的帮助。

克雷格

Answer 1

Xenu's Link Sleuth是我用来执行此操作的免费程序。你给它一个起始网址，然后它会递归下载所有链接的网页。输出是一个报告，告诉您网站上的所有链接和图像。