我可以在gnu并行作业结束时重复慢速群集节点作业,以加快完成速度

时间:2017-05-18 02:00:17

标签: gnu-parallel

在处理非同类群集中的大型作业集合结束时,最慢的节点很可能仍将处理其上一个作业,而最快的节点将处于空闲状态。如果节点之间的作业处理时间存在数量级差异,那么这可能会导致显着的时间损失。

对于那些在分配了所有作业后变为空闲的节点,是否有办法为尚未返回的作业分配复制作业?

我看到了Dim MyTarget as range Set MyTarget = Intersect(Target, Columns("B:B")) 选项,但这不是我想要的。并不是慢节点无法处理作业本身。在最慢的节点完成之前,在该组作业结束时变为空闲的快速节点可以完成最慢节点的工作。

我认为这不是gnu-parallel的默认行为,因为我可以在我的群集中添加一个非常慢的节点,从而导致整个处理时间慢得多(数量级)。

0 个答案:

没有答案