我已经阅读了其他人使用内存的问题,但是没有一个能帮助解决以下问题。我有一个64位的R环境,有16GB的RAM。
导入大小为229MB的.gz文件。 (解压缩版本为921MB)
accepted_def <- read.csv(gzfile('accepted_2007_to_2017.csv.gz'),
na.strings='')
acc_dt <- as.data.table(accepted_def)
此时,我的R Studio R会话内存使用量从大约100MB增加到3GB
清理数据并摆脱不必要的功能:
library(dplyr)
df.train <- select(acc_dt,
-1,-2,-10,-11,-16,-19,-21,-22,-23,-26,-46,-48,-49)
最后,尝试使用MICE来估算缺失值:
library(mice)
df.new = as.data.frame(mice(df.train, m=1, method = 'cart', printFlag=F))
现在,我的R会话内存使用量超过12GB,我得到以下内容:
Error: cannot allocate vector of size 11.6 Mb
任何有关正在发生的事情的想法都会受到赞赏!