Question

我有随机森林的巨大训练数据（昏暗：47600811 * 9）。我想采取多个（比方说1000）自举样本维度10000 * 9（每次运行中取9000个负类和1000个正类数据点）并迭代生成所有这些树的树，然后将所有这些树组合成1个森林。下面给出了所需代码的概念。有人可以指导我如何从我的实际trainData中替换生成随机样本并以迭代方式为它们优化生成树？这将是很大的帮助。感谢

library(doSNOW)
library(randomForest)
cl <- makeCluster(8)
registerDoSNOW(cl)

for (i=1:1000){
B <- 1000 
U <- 9000 
dataB <- trainData[sample(which(trainData$class == "B"), B,replace=TRUE),] 
dataU <- trainData[sample(which(trainData$class == "U"), U,replace=TRUE),] 
subset <- rbind(dataB, dataU)

我不确定它是否是从实际trainData一次又一次（1000次）生成子集的最佳方式。

rf <- foreach(ntree=rep(125, 8), .packages='randomForest') %dopar% {
  randomForest(subset[,-1], subset$class, ntree=ntree)
}
}
crf <- do.call('combine', rf)
print(crf)
stopCluster(cl)

Answer 1

这样的事情会起作用

# Replicate expression 1000 times, store output of each replication in a list
# Find indices of class B and sample 9000 times with replacement
# Do the same 1000 times for class U. Combine the two vectors of indices

i = replicate(1000, {c(sample(which(trainData$class == "B"), 9000, replace = T), sample(which(trainData$class == "U"), 1000, replace = T))})

然后将i提供给lapply的并行版本

mclapply(i, function(i, ntree) randomForest(trainData[i,-1], trainData[i,]$class, ntree=ntree)

Answer 2

尽管你的例子并行化了内部循环而不是外部循环，但只要内部foreach循环执行时间超过几秒钟就可以很好地工作，这几乎可以肯定。但是，你的程序确实有一个错误：它丢弃了前999个foreach结果，只处理了最后一个结果。要解决此问题，您可以预先分配长度为1000 * 8的列表，并在外部for循环的每次迭代中将foreach的结果分配给它。例如：

library(doSNOW)
library(randomForest)
trainData <- data.frame(a=rnorm(20), b=rnorm(20),
                        class=c(rep("U", 10), rep("B", 10)))
n <- 1000         # outer loop count
chunksize <- 125  # value of ntree used in inner loop
nw <- 8           # number of cluster workers
cl <- makeCluster(nw)
registerDoSNOW(cl)
rf <- vector('list', n * nw)
for (i in 1:n) {
  B <- 1000
  U <- 9000
  dataB <- trainData[sample(which(trainData$class == "B"), B,replace=TRUE),]
  dataU <- trainData[sample(which(trainData$class == "U"), U,replace=TRUE),]
  subset <- rbind(dataB, dataU)
  ix <- seq((i-1) * nw + 1, i * nw)
  rf[ix] <- foreach(ntree=rep(chunksize, nw),
                    .packages='randomForest') %dopar% {
    randomForest(subset[,-1], subset$class, ntree=ntree)
  }
}
cat(sprintf("# models: %d; expected # models: %d\n", length(rf), n * nw))
cat(sprintf("expected total # trees: %d\n", n * nw * chunksize))
crf <- do.call('combine', rf)
print(crf)

这应该可以解决您在评论中提到的问题。

随机森林自助训练和森林生成

2 个答案: