网站作为包含文档的链接树

Question

我需要一个可以获取域并对其进行爬网的工具，只需将链接列为一棵树即可，其中包括PDF之类的内容。我不需要内容，只需链接。谷歌让我失望。