使用svmlight

时间:2017-04-27 18:06:01

标签: r data.table h2o svmlight

我正在尝试将SVMLight格式的数据集读入h2o。将它写入磁盘上的文件并将其读回可以正常工作,但不能直接从R的内存中读取它。我想知道是否有不同的功能或不同的方式来调用我在下面使用的功能。

以下是R 3.3.3, h2o 3.10.3.6的例子:

require(data.table)
require(h2o)

set.seed(1000)
tot_obs <- 100
tot_var <- 500
vars_per_obs <- round(.0*tot_var,0):round(.1*tot_var,0)

#randomly generated data
mat.dt <- do.call('rbind', lapply(1:tot_obs, function(n) {
    nvar <- sample(vars_per_obs,1)
    if(nvar>0) data.table(obs=n, var=sample(1:tot_var,nvar))[, value:=sample(10:50,.N,replace=TRUE)]
}))

event.dt <- data.table(obs=1:tot_obs)[, is_event:=sample(0:1,.N,prob=c(.9,.1),replace=TRUE)]

#SVMLight format
setorder(mat.dt, obs, var)
mat.agg.dt <- mat.dt[, .(feature=paste(paste0(var,":",value), collapse=" ")), obs]
mat.agg.dt <- merge(event.dt, mat.agg.dt, by="obs", sort=FALSE, all.x=TRUE)
mat.agg.dt[is.na(feature), feature:=""]
mat.agg.dt[, svmlight:=paste(is_event,feature)][, c("obs","is_event","feature"):=NULL]
fwrite(mat.agg.dt, file="svmlight.txt", col.names=FALSE)

#h2o
localH2o <- h2o.init(nthreads=-1, max_mem_size="4g")
h2o.no_progress()

#works
h2o.orig <- h2o.importFile("svmlight.txt", parse=TRUE)

#does NOT work
tmp <- as.h2o(mat.agg.dt)
h2o.orig.1 <- h2o.parseRaw(tmp, parse_type="SVMLight")

1 个答案:

答案 0 :(得分:0)

简单的答案是您可能没有足够的R内存来执行此操作,因此一种解决方案是增加R中的内存量(如果这是您的选项)。这也可能意味着你的H2O集群中没有足够的内存,所以你也可以增加它。

直接从R内存到H2O群集的唯一方法是as.h2o()功能,因此您肯定使用正确的命令。在引擎盖下,as.h2o()函数将帧从R存储器写入磁盘(存储在临时文件中),然后使用H2O的本机并行读取功能将其直接读入H2O集群。

我们最近添加了在使用基础R的任何地方使用 data.table 的读/写功能的功能,因为您已经安装了 data.table ,您应该可以通过将此添加到脚本顶部来解决此瓶颈:options("h2o.use.data.table"=TRUE)。这会强制在as.h2o()转换过程的前半部分使用 data.table 而不是基本R写入磁盘。这应该对你有用,因为它正在做你的代码所做的完全相同的事情,你使用fwrite写入磁盘,h2o.importFile()将其读回来。

此外,您不需要h2o.parseRaw()的最后一行:

tmp <- as.h2o(mat.agg.dt)
h2o.orig.1 <- h2o.parseRaw(tmp, parse_type="SVMLight")

你可以这样做:

h2o.orig.1 <- as.h2o(mat.agg.dt)

有一篇相关的帖子展示了如何使用 data.table 来解决相反的问题(使用as.data.frame()代替as.h2o()here。< / p>