昨天我尝试将大型.csv文件读入内存时遇到了一个独特的问题
文件本身是9GB,有超过80万行和10列
它装载得很完美,使用128GB RAM的远程机器占用了大约7GB的内存
我的问题是,我想使用只有32GB RAM的本地机器来处理数据
当我使用机器的所有内存时,我尝试用data.table::fread
但 R 读取它。
是否有更安全的方式来读取不会崩溃 R 的数据?
这是一个已知的问题?这台机器有问题吗?
两台机器都在运行Windows 7企业。
保存和读取RDS文件中的数据有效,但我仍然希望能够只使用一台计算机完成整个作业。
有没有其他方法直接从csv文件中读取数据?
我不想报告data.table中的错误,除非我确定这是fread
的问题,而不是本地问题。
还有其他想法吗?