我必须运行大量随机林模型,所以我想在我的服务器上使用8个内核的doParallel来加速这个过程。
然而,有些模型比其他模型需要更长的时间,甚至可能会抛出错误。我想并行运行8个模型,如果模型抛出错误和/或被跳过,那么工人应该继续。每个模型结果都保存在硬盘上,以便我以后可以访问和组合它们。
TryCatch
或
.errorhandling="remove"
没有解决问题。我得到了
Error in unserialize(socklist[[n]]) : error reading from connection
代码示例:我尝试使用%do%并且模型2-7成功运行。然而在%dopar%我得到显示的错误
foreach(model=1:8, .errorhandling="remove") %dopar% {
tryCatch({
outl <- rf_perform(...)
saveRDS(outl,file=getwd() %+% "/temp/result_" %+% model %+% ".rds")
}, error = function(e) {print(e)}, finally = {})
}
答案 0 :(得分:2)
我认为我发现了问题:如果您导出到群集的对象太大,R不能再处理它和/或存在超时
我的数据对象导出是500万行和300个变量,导出到16个集群。
cl <- makeCluster(16)
registerDoParallel(cl)
clusterExport(cl, "data")
#data must not be too large
我将对象缩小为小块,现在可以正常工作了。作者可能想在doParallel的文档中提及,或者如果对象太大则抛出警告。