R在大文件上耗尽内存

时间:2018-03-08 12:26:03

标签: r data.table

昨天我尝试将大型.csv文件读入内存时遇到了一个独特的问题 文件本身是9GB,有超过80万行和10列 它装载得很完美,使用128GB RAM的远程机器占用了大约7GB的内存 我的问题是,我想使用只有32GB RAM的本地机器来处理数据 当我使用机器的所有内存时,我尝试用data.table::fread R 读取它。

是否有更安全的方式来读取不会崩溃 R 的数据?
这是一个已知的问题?这台机器有问题吗? 两台机器都在运行Windows 7企业。

编辑:

保存和读取RDS文件中的数据有效,但我仍然希望能够只使用一台计算机完成整个作业。
有没有其他方法直接从csv文件中读取数据? 我不想报告data.table中的错误,除非我确定这是fread的问题,而不是本地问题。

还有其他想法吗?

0 个答案:

没有答案