我正在使用concurrent.futures.ThreadPoolExecutor
从网址下载文件。
声明:
media_download_manager = concurrent.futures.ThreadPoolExecutor(max_workers=4)
必要时,使用以下语句触发下载:
media_download_manager.map(download_media_job, urls)
其中download_media_job
是一种处理下载以及一些先前检查的方法; urls
是要下载的文件的唯一网址列表。但是,由于有多个线程可以下载文件,因此我不想在不同的地方调用media_download_manager.map
时提交重复的网址。
如何在未明确维护单独列表的情况下获取提交到concurrent.futures.ThreadPoolExecutor 的待处理任务列表?