我试图通过R使用H2O来使用一个大数据集(~10GB)的子集构建多个模型。数据是一年的数据,我试图建立51个模型(即第1周训练,第2周预测等),每周约有1.5-250万行,有8个变量。
我已经在循环中完成了这个,我知道这并不总是R中最好的方法。我发现的另一个问题是H2O实体会积累先前的对象,所以我创建了一个函数来删除所有的它们除主要数据集外。
h2o.clean <- function(clust = localH2O, verbose = TRUE, vte = c()){
# Find all objects on server
keysToKill <- h2o.ls(clust)$Key
# Remove items to be excluded, if any
keysToKill <- setdiff(keysToKill, vte)
# Loop thru and remove items to be removed
for(i in keysToKill){
h2o.rm(object = clust, keys = i)
if(verbose == TRUE){
print(i);flush.console()
}
}
# Print remaining objects in cluster.
h2o.ls(clust)
}
脚本运行良好一段时间然后崩溃 - 通常抱怨内存不足和交换到磁盘。
这里有一些描述过程的伪代码
# load h2o library
library(h2o)
# create h2o entity
localH2O = h2o.init(nthreads = 4, max_mem_size = "6g")
# load data
dat1.hex = h2o.importFile(localH2O, inFile, key = "dat1.hex")
# Start loop
for(i in 1:51){
# create test/train hex objects
train1.hex <- dat1.hex[dat1.hex$week_num == i,]
test1.hex <- dat1.hex[dat1.hex$week_num == i + 1,]
# train gbm
dat1.gbm <- h2o.gbm(y = 'click_target2', x = xVars, data = train1.hex
, nfolds = 3
, importance = T
, distribution = 'bernoulli'
, n.trees = 100
, interaction.depth = 10,
, shrinkage = 0.01
)
# calculate out of sample performance
test2.hex <- cbind.H2OParsedData(test1.hex,h2o.predict(dat1.gbm, test1.hex))
colnames(test2.hex) <- names(head(test2.hex))
gbmAuc <- h2o.performance(test2.hex$X1, test2.hex$click_target2)@model$auc
# clean h2o entity
h2o.clean(clust = localH2O, verbose = F, vte = c('dat1.hex'))
} # end loop
我的问题是,在一个独立的实体中管理数据和内存的正确方法是什么(这不是在hadoop或集群上运行 - 只是一个大的EC2实例(~64gb RAM + 12个CPU))对于这种类型的过程?我应该在每次循环后杀死并重新创建H2O实体(这是原始过程但每次从文件中读取数据每次迭代增加约10分钟)?在每次循环后是否有正确的方法来垃圾收集或释放内存?
任何建议都将不胜感激。
答案 0 :(得分:7)
这个答案适用于原始的H2O项目(发布2.x.y.z)。
在最初的H2O项目中,H2O R软件包在H2O集群DKV(分布式密钥/值存储区)中创建了大量临时H2O对象,其中包含&#34; Last.value&#34;前缀。
这些在Web UI的Store View中和从R调用h2o.ls()都可见。
我建议做的是:
这是一个为您删除Last.value临时对象的函数。传入H2O连接对象作为参数:
removeLastValues <- function(conn) {
df <- h2o.ls(conn)
keys_to_remove <- grep("^Last\\.value\\.", perl=TRUE, x=df$Key, value=TRUE)
unique_keys_to_remove = unique(keys_to_remove)
if (length(unique_keys_to_remove) > 0) {
h2o.rm(conn, unique_keys_to_remove)
}
}
以下是使用此技术的H2O github存储库中的R测试的链接,可以无限期运行而不会耗尽内存:
https://github.com/h2oai/h2o/blob/master/R/tests/testdir_misc/runit_looping_slice_quantile.R
答案 1 :(得分:4)
截至2015年12月15日的新建议:更新到最新的稳定版(Tibshirani 3.6.0.8或更高版本)。 我们完全重写了R&amp; H2O处理内部临时变量,内存管理更顺畅。
下一步:H2O temps可以被R死变量“活着”保持......所以每次循环迭代运行一个R gc()。一旦R的GC移除死变量,H2O将回收该内存。
之后,您的群集应该只保留特定命名的内容,例如已加载的数据集和模型。这些你需要大致删除它们,以避免在K / V商店中累积大量数据。
如果您有任何问题,请通过发布到Google论坛h2o流告诉我们: https://groups.google.com/forum/#!forum/h2ostream
崖
答案 2 :(得分:2)
这个问题的最新答案是你应该只使用h2o.grid()
函数而不是编写循环。
答案 3 :(得分:0)
对于H2O新版本(当前为3.24.0.3),他们建议使用以下建议:
my for loop {
# perform loop
rm(R object that isn’t needed anymore)
rm(R object of h2o thing that isn’t needed anymore)
# trigger removal of h2o back-end objects that got rm’d above, since the rm can be lazy.
gc()
# optional extra one to be paranoid. this is usually very fast.
gc()
# optionally sanity check that you see only what you expect to see here, and not more.
h2o.ls()
# tell back-end cluster nodes to do three back-to-back JVM full GCs.
h2o:::.h2o.garbageCollect()
h2o:::.h2o.garbageCollect()
h2o:::.h2o.garbageCollect()
}
此处是来源:http://docs.h2o.ai/h2o/latest-stable/h2o-docs/faq/general-troubleshooting.html