C＃下载HTTP目录中的所有文件

Question

如何下​​载HTTP服务器上的目录和所有子目录中的所有文件？

Answer 1

使用像wget这样的命令行工具，而不是重新发明轮子。

Answer 2

如果在服务器上启用了目录浏览，那么您可以抓取目录列表，即使用HttpWebRequest获取列表页面，解析响应以查找文件链接，下载每个文件（也使用HttpWebRequest），导航到每个子文件夹，冲洗并重复。

如果未启用目录浏览，则无法真正下载所有子目录中的所有文件，因为您无法知道它们是否存在。

但是，您仍然可以使用HttpWebRequest来抓取公开的网页并下载任何感兴趣的链接文件。