如何将35 GB数据加载到R？

Question

我有一个维度为2000万条记录和50列的数据集。现在我想将此数据集加载到R.我的机器RAM大小为8 GB，我的数据集大小为35 GB。我必须在完整的数据上运行我的R代码。到目前为止，我尝试使用data.table（fread），bigmemory（read.big.matrix）包读取该数据但未成功。是否可以将35 GB数据加载到我的机器中（8 GB）？

如果可能，请指导我如何克服这个问题？

提前致谢。

Answer 1

购买更多内存。即使您设法加载所有数据（看起来像它的文本），也不会留在内存中的任何空间来做任何您想要对数据做的事情。

如果您必须立即将所有内容加载到RAM中，它实际上可能是唯一正确的答案。你可能不必，但即便如此，购买更多内存可能会更容易。

查看云计算选项，例如Azure或AWS或Google Compute Engine。