在队列中有其他子进程等待,直到设置了某个标志

时间:2017-02-21 14:52:12

标签: python parallel-processing queue multiprocessing

到目前为止,问题仍然存在于绘图板上,所以我可以采用另一种更适合的方法。情况是这样的:

我们创建一个n进程队列,每个进程独立于队列本身的其他任务执行。它们不共享任何资源等。但是,我们注意到有时(取决于队列参数)进程k的行为可能取决于是否存在特定于k+1进程的标志。该标志将在DynamoDB表中设置,因此;执行可能会失败。

我目前正在寻找的是一种方法,以便我可以在我的任务/工作人员中设置某种服务员/吊带,以便他们轮询直到在DynamoDB表中设置标志,同时让其他子流程采取启动CPU。

这个布尔值的设置在进程本身的早期完成。这个过程的依赖部分要晚得多。

1 个答案:

答案 0 :(得分:0)

因此,我们继续创建 n 数量的进程,而不是使用吊杆。这不是理想的方法,而是暂时的;它解决了手头的问题。

我仍然喜欢一种更好的方法来实现同样的目标。