Question

我试图并行化我拥有的for循环。在我讨论的循环中有一个嵌套循环，我希望并行化。答案必然与nested foreach loops in R to update common array非常相似，但我似乎无法让它发挥作用。我已经尝试了所有我能想到的选项，包括将内部循环转换为自己的函数并将其并行化，但我不断获得空列表。

第一个非foreach示例有效：

theFrame <- data.frame(col1=rnorm(100), col2=rnorm(100))

theVector <- 2:30

regFor <- function(dataFrame, aVector, iterations)
{   
    #set up a blank results matrix to save into.
    results <- matrix(nrow=iterations, ncol=length(aVector))

    for(i in 1:iterations)
    {
        #set up a blank road map to fill with 1s according to desired parameters
        roadMap <- matrix(ncol=dim(dataFrame)[1], nrow=length(aVector), 0)
        row.names(roadMap) <- aVector
        colnames(roadMap) <- 1:dim(dataFrame)[1]

        for(j in 1:length(aVector))
        {
            #sample some of the 0s and convert to 1s according to desired number of sample
            roadMap[j,][sample(colnames(roadMap),aVector[j])] <- 1
        }

        temp <- apply(roadMap, 1, sum)

        results[i,] <- temp
    }

    results <- as.data.frame(results)
    names(results) <- aVector

    results
}

test <- regFor(theFrame, theVector, 2)

但是这和我的其他类似尝试都不起作用。

trying <- function(dataFrame, aVector, iterations, cores)
{   
    registerDoMC(cores)

    #set up a blank results list to save into. i doubt i need to do this
    results <- list()

    foreach(i = 1:iterations, .combine="rbind") %dopar%
    {
        #set up a blank road map to fill with 1s according to desired parameters
        roadMap <- matrix(ncol=dim(dataFrame)[1], nrow=length(aVector), 0)
        row.names(roadMap) <- aVector
        colnames(roadMap) <- 1:dim(dataFrame)[1]

        foreach(j = 1:length(aVector)) %do%
        {
            #sample some of the 0s and convert to 1s according to desired number of sample
            roadMap[j,][sample(colnames(roadMap),aVector[j])] <- 1
        }

        results[[i]] <- apply(roadMap, 1, sum)
    }
    results
}

test2 <- trying(theFrame, theVector, 2, 2)

我认为无论如何我必须在内循环上使用foreach，对吧？

Answer 1

使用foreach时，您从不“设置空白结果列表保存到”，如您所怀疑的那样。相反，您组合评估foreach循环体的结果，并返回组合结果。在这种情况下，我们希望外部foreach循环将矢量（由内部foreach循环计算）逐行组合成矩阵。该矩阵被分配给变量results，然后转换为数据帧。

这是我第一次尝试转换你的例子：

library(doMC)

foreachVersion <- function(dataFrame, aVector, iterations, cores) {
  registerDoMC(cores) # unusual, but reasonable with doMC
  rows <- nrow(dataFrame)
  cols <- length(aVector)
  results <-
    foreach(i=1:iterations, .combine='rbind') %dopar% {
      # The value of the inner foreach loop is returned as
      # the value of the body of the outer foreach loop
      foreach(aElem=aVector, .combine='c') %do% {
        roadMapRow <- double(length=rows)
        roadMapRow[sample(rows,aElem)] <- 1
        sum(roadMapRow)
      }     
    }
  results <- as.data.frame(results)
  names(results) <- aVector
  results
}

内部循环不需要实现为foreach循环。您也可以使用sapply，但我会尝试弄清楚是否有更快的方法。但是对于这个答案，我想展示一种foreach方法。我使用的唯一真正的优化是通过在内部foreach循环中执行apply来消除对sum的调用。

Answer 2

您需要将foreach的结果放在变量中：

    results<- foreach( ...

Answer 3

我知道这是一个过时的问题，但只是为了给那些提示没有嵌套的foreach上班的人。
如果将外部循环与 foreach()%dopar%{foreach()%do%{}}并行化，您将需要在外部扩展中包含.packages = c("doSNOW") 循环，否则将遇到"doSNOW not found"错误。
通常，人们只是并行处理内部循环（foreach()%:%foreach()%dopar%{}，在论坛上也建议这样做），对于大量数据可能要慢得多（正在等待组合每100个结果以及每个内部循环的末尾，并且此过程不是并行的！）

R中的嵌套foreach循环，其中内循环返回矩阵

3 个答案: