我正在测试parLapplyLB()
函数,以了解它在平衡负载方面的作用。但我没有看到任何平衡发生。例如,
cl <- parallel::makeCluster(2)
system.time(
parallel::parLapplyLB(cl, 1:4, function(y) {
if (y == 1) {
Sys.sleep(3)
} else {
Sys.sleep(0.5)
}}))
## user system elapsed
## 0.004 0.009 3.511
parallel::stopCluster(cl)
如果它真正平衡了负载,那么睡眠3秒的第一个作业(作业1)将在第一个节点上,而其他三个作业(作业2:4)将在总共1.5秒内休眠其他节点。总的来说,系统时间应该只有3秒。
相反,我认为作业1和2被赋予节点1,作业3和4被赋予节点2.这导致总时间为3 + 0.5 = 3.5秒。如果我们使用parLapply()
而不是parLapplyLB()
运行上述相同的代码,我们将获得大约3.5秒的相同系统时间。
我不理解或做错了什么?
答案 0 :(得分:14)
注意:自R-3.5.0以来,OP注意到的行为/错误已在下面解释。正如R&#39 {s} NEWS
文件中所述:
* parLapplyLB and parSapplyLB have been fixed to do load balancing
(dynamic scheduling). This also means that results of
computations depending on random number generators will now
really be non-reproducible, as documented.
原始回答(现在仅与R版本相关&lt; 3.5.0)
对于像你这样的任务(就此而言,对于任何我需要的任务并行)parLapplyLB
并不是真正合适的工具为了工作。要了解其原因,请查看其实施方式:
parLapplyLB
# function (cl = NULL, X, fun, ...)
# {
# cl <- defaultCluster(cl)
# do.call(c, clusterApplyLB(cl, x = splitList(X, length(cl)),
# fun = lapply, fun, ...), quote = TRUE)
# }
# <bytecode: 0x000000000f20a7e8>
# <environment: namespace:parallel>
## Have a look at what `splitList()` does:
parallel:::splitList(1:4, 2)
# [[1]]
# [1] 1 2
#
# [[2]]
# [1] 3 4
问题在于它首先将其作业列表拆分为相等大小的子列表,然后在节点之间分配,每个节点在其给定的子列表上运行lapply()
。所以这里,你的第一个节点在第一个和第二个输入上运行作业,而第二个节点使用第三个和第四个输入运行作业。
相反,请使用功能更为通用的clusterApplyLB()
,其效果与您一样:
system.time(
parallel::clusterApplyLB(cl, 1:4, function(y) {
if (y == 1) {
Sys.sleep(3)
} else {
Sys.sleep(0.5)
}}))
# user system elapsed
# 0.00 0.00 3.09
答案 1 :(得分:4)
WHERE parent_id > 0
没有平衡负载,因为它有语义错误。我们发现了该错误并提供了修复程序,请参阅here。现在,它由R开发者包括修复。