Question

我在ubuntu 14.04的R 3.2.0中使用fread foreach和doParallel包。以下代码工作得很好，即使我没有使用registerDoParallel。

library(foreach)
library(doParallel)
library(data.table)

write.csv(iris,'test.csv',row.names=F)

cl<-makeCluster(4)

tmp<-foreach(i=1:10) %dopar% { t <- fread('test.csv') }

tmp<-rbindlist(tmp)

stopCluster(cl)

然而，当切换到Windows 7时，无论是否有“registerDoParallel”，它都不再有效。

library(foreach)
library(doParallel)
#library(doSNOW)
library(data.table)

write.csv(iris,'test.csv',row.names=F)

cl<-makeCluster(4) 
registerDoParallel(cl)
#registerDoSNOW(cl)

tmp<-foreach(i=1:10) %dopar% { t <- fread('test.csv') }

tmp<-rbindlist(tmp)

stopCluster(cl)

'doSNOW'包也不起作用。以下是错误消息。

Error in { : task 1 failed - "could not find function "fread""

有没有人有类似的经历？

后续问题涉及嵌套foreach。似乎以下情况不起作用。

cl<-makeCluster(4)
registerDoParallel(cl)
clusterEvalQ(cl , library(data.table))

tmp<-foreach(j=1:10) %dopar% {

            tmp1<-foreach(i=1:10) %dopar% {
                          t<-fread('test.csv',data.table=T)
                   }  
            rbindlist(tmp1)
      }
stopCluster(cl)

Answer 1

感谢user20650提供here中的参考。基本上可以通过在.export='fread'函数中设置foreach来解决。

更确切地说，以下内容将解决问题。

 tmp<-foreach(i=1:10,.export = 'fread') %dopar% { 
              t <- fread('test.csv',data.table=T) 
      }

关于嵌套foreach的跟进问题，user20650在评论中回答了这个问题。即，添加clusterEvalQ(cl , c(library(data.table),library(foreach)))。以下代码似乎在ubuntu和windows中都有效。

cl<-makeCluster(4)
registerDoParallel(cl)
clusterEvalQ(cl , c(library(data.table),library(foreach)))

tmp<-foreach(j=1:10) %dopar% {

     tmp1<-foreach(i=1:10) %dopar% { t <- fread('test.csv',data.table=T) }
     rbindlist(tmp1)
     }

使用fread与foreach和doParallel在R中

1 个答案: