以块的形式读取大文件:内存问题

时间:2014-07-17 14:14:16

标签: r data.table

我有几个GB数据集,我想以块的形式读入R,进行一些转换并导出到Vowpal Wabbit格式。为此,我通过DT阅读fread,调用几个函数并设置DT <- NULL,调用垃圾收集器gc()并重复此过程。但是,这仍然会导致内存几乎达到最大值,并使进程变慢(几小时)。

基于Tricks to manage the available memory in an R session我想知道是否有办法从fread更新DT(不是DT <- fread(),而是通过:=语句) - 这样就不会有一系列对象。或者您还有其他建议吗?

0 个答案:

没有答案