我正在使用clusterR()
函数预测庞大数据集上的randomForest
模型。因此,我使用具有100多个核心的群集。我的代码如下所示:
library(randomForest)
library(raster)
library(parallel)
r <- stack("...some/multilayer/raster...")
rfo <- # load a previously calculated randomForest object
beginCluster(100)
rPred <- clusterR(r, predict, args = list(model = rfo))
我预计会使用所有100个初始化的处理器。但是,当我在bash中查看top
时,只有大约20 - 30个进程全速运行。所有其他人都在睡觉。
当我getCluster()
具有100个套接字的群集完全正常运行时。
clusterR
函数或parallel
后端的最大处理器数是否有限制?
是否有可能确定clusterR
中使用的最大处理器数量?