Question

我在这里问了一个相关的问题，答案很有效：using parallel's parLapply: unable to access variables within parallel code

问题是，当我尝试使用函数内部的答案时，它将不起作用，因为我认为它具有clusterExport的默认环境。我已经阅读了小插图并查看了帮助文件，但我的知识库非常有限。我使用parLapply的方式我希望它的行为类似于lapply，但它看起来并不像。

这是我的尝试：

par.test <- function(text.var, gc.rate=10){ 
    ntv <- length(text.var)
    require(parallel)
    pos <-  function(i) {
        paste(sapply(strsplit(tolower(i), " "), nchar), collapse=" | ")
    }
    cl <- makeCluster(mc <- getOption("cl.cores", 4))
    clusterExport(cl=cl, varlist=c("text.var", "ntv", "gc.rate", "pos"))
    parLapply(cl, seq_len(ntv), function(i) {
            x <- pos(text.var[i])
            if (i%%gc.rate==0) gc()
            return(x)
        }
    )
}

par.test(rep("I like cake and ice cream so much!", 20))

#gives this error message
> par.test(rep("I like cake and ice cream so much!", 20))
Error in get(name, envir = envir) : object 'text.var' not found

Answer 1

默认情况下，clusterExport会在.GlobalEnv中查找要导出的varlist中指定的对象。如果您的对象不在.GlobalEnv中，则必须告诉clusterExport它可以在哪个环境中找到这些对象。

您可以将clusterExport更改为以下（我没有测试过，但您说的是评论中的作品）

clusterExport(cl=cl, varlist=c("text.var", "ntv", "gc.rate", "pos"), envir=environment())

这样，它将在函数的环境中查找要导出的对象。

Answer 2

另一个解决方案是将附加变量作为函数的参数包含在内; parLapply也出口它们。如果'text.var'是大数据，那么它应该使它成为应用于的参数而不是索引，因为那时只导出与每个worker相关的text.var部分，而不是整个对象对每个工人。

par.test <- function(text.var, gc.rate=10){ 
    require(parallel)
    pos <-  function(i) {
        paste(sapply(strsplit(tolower(i), " "), nchar), collapse=" | ")
    }
    cl <- makeCluster(mc <- getOption("cl.cores", 4))
    parLapply(cl, text.var, function(text.vari, gc.rate, pos) {
        x <- pos(text.vari)
        if (i%%gc.rate==0) gc()
        x
    }, gc.rate, pos)
}

这在概念上也令人愉悦。（很少需要显式调用垃圾收集器。）

当source()脚本导致其他问题时，内存管理。比较

> stop("oops")
Error: oops
> traceback()
1: stop("oops")

在脚本中使用相同的调用

> source("foo.R")
Error in eval(ei, envir) : oops
> traceback()
5: stop("oops") at foo.R#1
4: eval(ei, envir)
3: eval(ei, envir)
2: withVisible(eval(ei, envir))
1: source("foo.R")

请记住，由serialize()在内部使用的R parLapply()函数将数据移动到工作者，将所有内容序列化为.GlobalEnv。因此，在脚本中创建的数据对象被序列化为worker，而如果以交互方式运行，则不会序列化。这可能是运行脚本时遇到@ SeldeomSeenSlim的问题。可能解决方案是更清楚地将“数据”与“算法”分开，例如，使用文件系统或数据库或......来存储对象。

在函数内使用parLapply和clusterExport

2 个答案: