R doParallel foreach与独立工作者的错误处理

时间:2015-12-29 05:18:20

标签: r parallel-processing doparallel

我必须运行大量随机林模型,所以我想在我的服务器上使用8个内核的doParallel来加速这个过程。

然而,有些模型比其他模型需要更长的时间,甚至可能会抛出错误。我想并行运行8个模型,如果模型抛出错误和/或被跳过,那么工人应该继续。每个模型结果都保存在硬盘上,以便我以后可以访问和组合它们。

TryCatch

.errorhandling="remove" 

没有解决问题。我得到了

 Error in unserialize(socklist[[n]]) : error reading from connection

代码示例:我尝试使用%do%并且模型2-7成功运行。然而在%dopar%我得到显示的错误

 foreach(model=1:8, .errorhandling="remove") %dopar% {


      tryCatch({
          outl <- rf_perform(...)
          saveRDS(outl,file=getwd() %+% "/temp/result_" %+% model %+% ".rds")

     }, error = function(e) {print(e)}, finally = {})
  }

1 个答案:

答案 0 :(得分:2)

我认为我发现了问题:如果您导出到群集的对象太大,R不能再处理它和/或存在超时

我的数据对象导出是500万行和300个变量,导出到16个集群。

cl <- makeCluster(16)
registerDoParallel(cl)
clusterExport(cl, "data")

#data must not be too large

我将对象缩小为小块,现在可以正常工作了。作者可能想在doParallel的文档中提及,或者如果对象太大则抛出警告。