Question

我是R中并行计算的初学者。我遇到了doParallel包，我认为它可能对我有用。

以下代码旨在并行评估多个pglm回归：

require("foreach")
require("doParallel")

resVar <- sample(1:6,100,TRUE)
x1     <- 1:100
x2     <- rnorm(100)
x3     <- rchisq(100, 2, ncp = 0)
x4     <- rweibull(100, 1, scale = 1)
Year   <- sample(2011:2014,100,replace=TRUE)
X      <- data.frame(resVar,x1,x2,x3,x4,Year)

facInt = 1:4 # no factors
#find all possible combinations
cmbList <- lapply(2, function(nbFact) {
   allCmbs <- t(combn(facInt, nbFact))
   dupCmbs <- combn(1:4, nbFact, function(x) any(duplicated(x)))
   allCmbs[!dupCmbs, , drop = FALSE] })

noSubModel   <- c(0, sapply(cmbList, nrow))
noModel      <- sum(noSubModel)
combinations <- cmbList[[1]]
factors      <- X[,c("x1","x2","x3","x4")]
coeff_vars   <- matrix(colnames(factors)[combinations[1:length(combinations[,1]),]],ncol = length(combinations[1,]))

yName       <- 'resVar'
cl <- makeCluster(4)
registerDoParallel(cl)
r <- foreach(subModelInd=1:noSubModel[2], .combine=cbind) %dopar% {
     require("pglm")
     vars <- coeff_vars[subModelInd,]
     formula <- as.formula(paste('as.numeric(', yName, ')',' ~ ', paste(vars,collapse=' + ')))
     XX<-X[,c("resVar",vars,"Year")]
     ans <- pglm(formula, data = XX, family = ordinal('logit'), model = "random", method = "bfgs", print.level = 3, R = 5, index = 'Year')

      coefficients(ans)

}
stopCluster(cl)
cl <- c()

当我尝试以下列方式并行化时，它不起作用。我收到以下错误：

{：任务1失败 - “对象'XX'未找到”
错误

按顺序评估的一组pglm次回归有效：

require("pglm")
r <- foreach(icount(subModelInd), .combine=cbind) %do% {
     vars <- coeff_vars[subModelInd,]
     formula <- as.formula(paste('as.numeric(', yName, ')',' ~ ', paste(vars,collapse=' + ')))
     XX<-X[,c("resVar",vars,"Year")]
     ans <- pglm(formula, data = XX, family = ordinal('logit'), model = "random", method = "bfgs", print.level = 3, R = 5, index = 'Year')

     coefficients(ans)

}

有人可以就如何正确并行完成此任务提出建议吗？

谢谢！

Answer 1

是的，看起来pglm存在问题以及它访问变量的方式。一个简单的解决方法是将XX分配给全局变量，即更改

XX<-X[,c("resVar",vars,"Year")]

到

assign("XX", X[,c("resVar",vars,"Year")], pos = 1)

这应该可以解决问题，因为每个集群作为一个单独的进程运行（据我所知，这不是一个单独的线程），所以你不会遇到两个进程/线程试图使用{{1变量。

我添加了两行 - XX和set.seed(131)之后的另一行，即

coefficients(ans)

并且文件中始终有6行（相同数字，但显然顺序不同）：

set.seed(131)

... rest of your code ....
coefficients(ans)

write(paste0(coefficients(ans)[1],"\n"),file="c:\\temp\\r\\out.txt",append=TRUE)

这对你也有用。

在R上对一组不同的解释变量进行并行化面板logit计算

1 个答案: