iPython中LoadBalancedView中的非DAG任务依赖关系

时间:2014-01-18 00:55:06

标签: python ipython scikit-learn ipython-parallel

我想使用与LoadBalancedView并行的ipython并行训练大量模型。

但是我想要在每个任务完成后,特定节点必须“检查”另一个节点(让我们称之为任务编排器)以确保它们应该继续进行的约束,如果是,那么它应该采取哪个任务。

这不是真正的DAG,这只是客户端与另一个任务编排器节点通信,以控制任务完成的时间和顺序。

我还需要能够确保丢失的节点在其他人失败时将其任务拿回。

我怎么能在iPython并行中这样做?

编辑:为了澄清,我喜欢iPython并行处理任务,报告结果,套接字通信等的能力。但是我基本上需要能够在我从主人那里选择时将单个任务分配给单个机器处理和处理,并在完成或给出任务时添加任务。

编辑#2:啊,也许我可以锁定表格,然后手动更改任务的排序in this table(?)。锁实现了阻止客户进一步完成任务(他们必须等待),我可以根据任务本身将顺序更改为我喜欢的任何顺序。

0 个答案:

没有答案