Question

我尝试使用R foreach，parallel，doParallel和party软件包在具有20个CPU的Unix计算机上运行以下代码（我的目标是让party / varimp函数并行处理多个CPU：

parallel_compute_varimp <- function (object, mincriterion = 0, conditional = FALSE, threshold = 0.2, 
    nperm = 1, OOB = TRUE, pre1.0_0 = conditional) 
{
    response <- object@responses
    input <- object@data@get("input")
    xnames <- colnames(input)
    inp <- initVariableFrame(input, trafo = NULL)
    y <- object@responses@variables[[1]]
    error <- function(x, oob) mean((levels(y)[sapply(x, which.max)] != y)[oob])

    w <- object@initweights
    perror <- matrix(0, nrow = nperm * length(object@ensemble), ncol = length(xnames))
    colnames(perror) <- xnames

    data = foreach(b = 1:length(object@ensemble), .packages = c("party","stats"), .combine = rbind) %dopar%
    {
        try({
            tree <- object@ensemble[[b]]
            oob <- object@weights[[b]] == 0

            p <- .Call("R_predict", tree, inp, mincriterion, -1L, PACKAGE = "party")

            eoob <- error(p, oob)

            for (j in unique(varIDs(tree))) {
                for (per in 1:nperm) {
                    if (conditional || pre1.0_0) {
                      tmp <- inp
                      ccl <- create_cond_list(conditional, threshold, xnames[j], input)
                      if (is.null(ccl)) {
                        perm <- sample(which(oob))
                      }
                      else {
                        perm <- conditional_perm(ccl, xnames, input, tree, oob)
                      }
                      tmp@variables[[j]][which(oob)] <- tmp@variables[[j]][perm]
                      p <- .Call("R_predict", tree, tmp, mincriterion, -1L, PACKAGE = "party")
                    }
                    else {
                      p <- .Call("R_predict", tree, inp, mincriterion, as.integer(j), PACKAGE = "party")
                    }
                    perror[b, j] <- (error(p, oob) - eoob)
                }
            }

            ########
            # return data to the %dopar% loop data variable
            perror[b, ]
            ########

        }) # END OF TRY
    } # END OF LOOP WITH PARALLEL COMPUTING

    perror = data
    perror <- as.data.frame(perror)
    return(MeanDecreaseAccuracy = colMeans(perror))
}

environment(parallel_compute_varimp) <- asNamespace('party')


cl <- makeCluster(detectCores())
registerDoParallel(cl, cores = detectCores())
<...>
system.time(data.cforest.varimp <- parallel_compute_varimp(data.cforest, conditional = TRUE))

但是我收到了一个错误：

> system.time(data.cforest.varimp <- parallel_compute_varimp(data.cforest, conditional = TRUE))
Error in unserialize(socklist[[n]]) : error reading from connection
Timing stopped at: 58.302 13.197 709.307

代码正在使用4个CPU上的较小数据集。

我的想法已经不多了。有人可以提出一种方法来实现我在并行CPU上运行party package varimp函数的目标吗？

Answer 1

错误：

Error in unserialize(socklist[[n]]) : error reading from connection

表示主进程在调用unserialize以从其中一个worker的套接字连接中读取时出错。这可能意味着相应的工作程序死亡，从而丢弃了套接字连接的结束。不幸的是，它可能因各种原因而死亡，其中许多原因都是系统特定的。

你通常可以通过使用makeCluster＆＃34; outfile＆＃34;来弄清楚工人死亡的原因。选项，以便工人生成的错误消息不会被丢弃。我通常建议使用in this answer所述的outfile=""。注意＆＃34; outfile＆＃34;选项在雪地和并行包装中的作用相同。

通过注册顺序后端，您还可以验证foreach循环是否正常执行：

registerDoSEQ()

如果你很幸运，foreach循环在顺序执行时会失败，因为通常更容易弄清楚出了什么问题。

反序列化错误（socklist [[n]]）：从Unix上的连接读取错误

1 个答案: