待提交的任务提交到concurrent.futures

时间:2016-10-17 07:11:12

标签: python multithreading python-2.7 concurrency

我正在使用concurrent.futures.ThreadPoolExecutor从网址下载文件。

声明:

media_download_manager = concurrent.futures.ThreadPoolExecutor(max_workers=4)

必要时,使用以下语句触发下载:

media_download_manager.map(download_media_job, urls)

其中download_media_job是一种处理下载以及一些先前检查的方法; urls是要下载的文件的唯一网址列表。但是,由于有多个线程可以下载文件,因此我不想在不同的地方调用media_download_manager.map时提交重复的网址。

如何在未明确维护单独列表的情况下获取提交到concurrent.futures.ThreadPoolExecutor 的待处理任务列表?

0 个答案:

没有答案