我需要调用一次大约1000次的API来运行一个特定的函数:问题是每个API调用大约需要1秒钟,所以同步运行它是不行的。异步运行它可以工作,但是,我的mac在模块multiprocessing.pool(100)
中运行100个进程的上限。
from multiprocessing import Pool
pool = Pool()
results = pool.map(multi_run_wrapper, list_args)
所以任何方法都没有什么复杂,但如果len(list_args)>100
,这就会崩溃。
有没有人有任何解决方案?我需要一些异步工作,节省时间并且并行运行。