R doParallel foreach与独立工作者的错误处理

Question

我必须运行大量随机林模型，所以我想在我的服务器上使用8个内核的doParallel来加速这个过程。

然而，有些模型比其他模型需要更长的时间，甚至可能会抛出错误。我想并行运行8个模型，如果模型抛出错误和/或被跳过，那么工人应该继续。每个模型结果都保存在硬盘上，以便我以后可以访问和组合它们。

TryCatch

或

.errorhandling="remove" 

没有解决问题。我得到了

 Error in unserialize(socklist[[n]]) : error reading from connection

代码示例：我尝试使用％do％并且模型2-7成功运行。然而在％dopar％我得到显示的错误

 foreach(model=1:8, .errorhandling="remove") %dopar% {


      tryCatch({
          outl <- rf_perform(...)
          saveRDS(outl,file=getwd() %+% "/temp/result_" %+% model %+% ".rds")

     }, error = function(e) {print(e)}, finally = {})
  }

Answer 1

我认为我发现了问题：如果您导出到群集的对象太大，R不能再处理它和/或存在超时

我的数据对象导出是500万行和300个变量，导出到16个集群。

cl <- makeCluster(16)
registerDoParallel(cl)
clusterExport(cl, "data")

#data must not be too large

我将对象缩小为小块，现在可以正常工作了。作者可能想在doParallel的文档中提及，或者如果对象太大则抛出警告。