处理任务彼此并行而不是串行在python中

时间:2018-01-23 12:33:15

标签: python python-2.7 parallel-processing subprocess

任务1:我有一个~120Gb的文档集,其中一个程序正在连续提取" ID"。

任务2:一旦所有" ids"提取我必须处理每个" ID"并提取一些链接到每个" id"的数据。

我编写了一个python脚本,它连续执行,即任务1完成后的任务2.我想知道是否有一种方式可以作为何时每个" ID"在Task1中找到它,它立即将它发送到Task2进行处理,同时自己继续查找下一个" id"。基本上,使两个任务并行工作以节省时间。

1 个答案:

答案 0 :(得分:0)

你所描述的让我想起了celery

其他一些推荐的库: