Python多处理池在Mac上的最大值为100?

时间:2017-09-05 22:07:49

标签: python python-2.7 multiprocessing

我需要调用一次大约1000次的API来运行一个特定的函数:问题是每个API调用大约需要1秒钟,所以同步运行它是不行的。异步运行它可以工作,但是,我的mac在模块multiprocessing.pool(100)中运行100个进程的上限。

from multiprocessing import Pool
pool = Pool()
results = pool.map(multi_run_wrapper, list_args)

所以任何方法都没有什么复杂,但如果len(list_args)>100,这就会崩溃。

有没有人有任何解决方案?我需要一些异步工作,节省时间并且并行运行。

0 个答案:

没有答案