Python3从一个URL下载多个文件

Question

我想从单个网址下载所有 .mp4 文件。我已经看到了如何使用 urllib 下载文件的示例，但示例如下所示：

urllib.request.urlretrieve('http://example.com/big.zip', 'file/on/disk.zip')

在这些示例中，他们指定要下载的确切文件 big.zip ，但我不知道网站目录中每个文件的名称，我只知道文件扩展。

我希望能够在网站上输入类似内容：

urllib.request.urlretrieve('http://example.com/videos/', 'file/on/disk')

然后下载所有 .mp4 文件。我相信我可以使用.endswith对特定文件扩展名进行排序。

我仍然不习惯使用 urllib 而且我从未使用过 BeautifulSoup ，但我已经看过它在几个例子中使用过，所以我不会＆＃39;甚至知道是否可以这样做。

Downloading files from multiple websites.

urllib.request for python 3.3 not working to download file

How do I download a file over HTTP using Python?

Answer 1

如果您能够列出目录内容（由Apache列出），您应该解析此输出，构建文件列表，并循环调用单个文件下载例程。

如果您无法做到，那么应用程序通常会隐藏用户的文件结构。