从Python中的巨大列表中下载文件

Question

我有一个包含2M +文件链接的列表，并希望下载它们。我目前的方法是使用urllib.urlretrieve，但它连续且非常慢。 我怎么能加快速度呢？是否有可能异步（以及如何）？

Answer 1

似乎你有一个很大的任务列表（检索文件并存储在某个地方），这些任务彼此独立并且可以并行运行。

我建议看看像芹菜这样的东西。 http://www.celeryproject.org/阅读它的内容，看看您是否认为它非常适合您的问题域。

Answer 2

如果您运行的是Python 3.4+，则可以使用stdlib asyncio模块编写异步代码。有关异步Web客户端，请参阅aiohttp。有无数使用aiohttp发出并行请求的示例，因此请将它们作为起点。