我有兴趣从vegan软件包中并行执行R函数adonis。但是,我不清楚如何使其并行运行。无论我如何尝试初始化它,似乎都需要花费相同的时间来执行。有人可以解释我做错了吗?
require(vegan)
require(parallel)
data(dune)
data(dune.env)
#This:
system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999))
#Runs faster (4.49 s) than this (6.7 s):
system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999, parallel=3))
#or this (6.7 s)
cl <- makeCluster(3)
system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999, parallel=cl))
stopCluster(cl)
计算机详细信息:
答案 0 :(得分:1)
我不确定这个答案到底有多大帮助,但我会分享一些我自己的观察和我慢慢拼凑起来的东西。我不会假装自己是这方面的专家,所以接受我的回答,意识到这里可能存在一些不准确之处。我首先是一名生物学家。
其中一些并行库似乎会重新加载 r 环境并运行您每个内核拥有的任何启动文件(例如 rprofiles)。因此,使用并行库存在固有的时间成本,因此如果计算量足够大,值得并行化(在您的示例中,Dune 数据集非常小),那么您只会看到并行函数的好处。我将在下面分享我自己的基准)。也就是说,有一些事情似乎有帮助。
使用 doParallel
库,您可以指定参数以不将不必要的信息加载到会话中,如下所示:
library(doParallel)
cl <- makeCluster(3, rscript_args = c("--no-init-file", "--no-site-file","--no-environ"))
#for linux .... cl <- makePSOCKcluster(2)
registerDoParallel(cl)
unif_w = UniFrac(d, weighted=T, parallel=T, normalized = T)
unif_uw = UniFrac(d, weighted=F, parallel=T)
stopCluster(cl)
我在自己的工作中注意到添加 rscript 选项大大提高了我的速度(抱歉,没有基准测试,希望能快速得到答案)。如果我记得我得到这个建议的来源,我会回来分享。
这对运行 Adonis 没有帮助,但是我认为初始时间成本可以解释为什么我们在 Dune 数据集上使用 Adonis 内置的并行选项看不到时间优势。这是我的基准。
> data("dune")
> data("dune.env")
> system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999))
user system elapsed
3.90 0.00 3.93
> #Runs faster (4.49 s) than this (6.7 s):
> system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999, parallel=3))
user system elapsed
0.71 0.04 6.53
这组没有太大区别,但并行更慢。然而,用我目前正在使用的一个大集合重复(bc 是一个距离矩阵是根据物种矩阵计算的,该矩阵有 887 个物种乘以 3734 个站点)
> system.time(adonis(bc ~ fmet$Diagnosis, parallel = 1))
user system elapsed
109.95 21.27 131.22
> system.time(adonis(bc ~ fmet$Diagnosis, parallel = 4))
user system elapsed
3.44 1.41 82.36
长话短说,在这种特定情况下,您可能只会通过将 adonis 选项应用于更大的数据集而受益。
我不确定计算机规格在这里有多重要,但我确实有大量内存用于此类用途。就我而言,内存对于让我更轻松地处理大型矩阵更为重要。
无论如何,我仍在寻找其他变通方法和技巧。