Question

我正在尝试使用R中的并行包向四个不同的处理器发送四个不同的函数调用，但我真的很遗憾如何分配不同的内核来完成不同的工作。我已经阅读了R中并行包，doParallel，Rmpi和foreach的文档。我看过很多帖子使用mclapply来调用具有相同参数的不同函数。我想用不同的参数调用相同的函数。

这是我想要完成的伪代码：

BEGIN parallel (core)
if(core == 1)
   foo(5, 4, 1/2, 3, "a")
if(core == 2)
   foo(5, 3, 1/3, 1, "b")
if(core == 3)
   foo(5, 4, 1/4, 1, "c")
if(core == 4)
   foo(5, 2, 1/5, 0, "d")
END parallel

这似乎是并行计算的完美应用，因为这四个独立的函数调用可以独立地解决我正在处理的问题。我不知道如何在R中这样做。

Answer 1

您可以使用并行包中的clusterApply函数：

library(parallel)
cl <- makeCluster(4)
clusterExport(cl, "foo")
cores <- seq_along(cl)
r <- clusterApply(cl[cores], cores, function(core) {
  if (core == 1) {
    foo(5, 4, 1/2, 3, "a")
  } else if (core == 2) {
    foo(5, 3, 1/3, 1, "b")
  } else if (core == 3) {
    foo(5, 4, 1/4, 1, "c")
  } else if (core == 4) {
    foo(5, 2, 1/5, 0, "d")
  }
})

这与您的伪代码非常相似，并演示了如何使用clusterApply将特定任务定向到特定群集工作程序。请注意，通过更改cores的值，您可以在您选择的任何群集工作程序上执行。

如果是＆＃34;核心ID＆＃34;并不是非常重要，您可以使用foreach包迭代每个参数的向量，从而将不同的参数传递给函数：

library(doParallel)
registerDoParallel(cl)
r2 <- foreach(a1=c(5,5,5,5), a2=c(4,3,4,2), a3=c(1/2,1/3,1/4,1/5),
              a4=c(3,1,1,0), a5=c("a","b","c","d")) %dopar% {
  foo(a1, a2, a3, a4, a5)
}

Answer 2

试试这个：

步骤0：设置群集＆amp;用户数据

library(parallel)
library(doParallel)
library(foreach)

cl <- makeCluster(4)          # Assuming 4 node cluster
registerDoParallel(cl) 

foo <- function(...) paste(...,collapse="-") # A dummy function:

(parDf <- data.frame(x1=5,x2=c(4,3,4,2),x3=1/(2:5),x4=3:0,x5=letters[1:4])) # Dummy parameters
parDf$x5 <- as.character(parDf$x5)

步骤1：查找每个节点的进程ID：

nodeNames <- foreach(i = 1:length(cl), .combine=c) %dopar% {
  Sys.getpid()
}

步骤2：使用进程ID选择一组特定的参数：

foreach(i = 1:10, .combine=c) %dopar% {
  paste(Sys.getpid(),foo(parDf[which(Sys.getpid()==nodeNames),]))
}

希望这会有所帮助!!

使用并行包将具有不同参数的函数调用发送到R中的不同处理器

2 个答案: