我有几个GB数据集,我想以块的形式读入R,进行一些转换并导出到Vowpal Wabbit格式。为此,我通过DT
阅读fread
,调用几个函数并设置DT <- NULL
,调用垃圾收集器gc()
并重复此过程。但是,这仍然会导致内存几乎达到最大值,并使进程变慢(几小时)。
基于Tricks to manage the available memory in an R session我想知道是否有办法从fread更新DT(不是DT <- fread()
,而是通过:=语句) - 这样就不会有一系列对象。或者您还有其他建议吗?