强制parLapply按顺序完成工作

时间:2015-11-18 17:01:22

标签: r parallel-processing

我有一系列作业,我希望尽可能接近并行化(我知道有些节点会在其他节点之前完成)。

我当前的脚本如下:

sizeof

progress.txt中的值严重乱序。 1,826,2,3,827等。

1 个答案:

答案 0 :(得分:1)

如果您使用clusterApply,那么您的结果将 严重无序:

results <- unlist(clusterApply(cl, iseq, function(y){
    write(y, "progress.txt", append=T)
}
))

parLapply以块的形式将任务分配给工作人员,因此在您的情况下,分配给您的某个工作人员的第一个任务是任务826. clusterApply使用循环调度,因此它可以&# 39; t太糟糕了。