如何快速将大型txt数据文件（5GB）读入R（RStudio）（Centrino 2 P8600,4Gb RAM）

Question

我有一个大数据集，其中一个文件是5GB。有人可以建议我如何快速将其读入R（RStudio）？感谢

Answer 1

如果您只有4 GB的RAM，则无法将5 GB的数据放入R'。您也可以查看R中High Perfomance Computing任务视图的“大内存和内存不足数据”部分。为ff等内存不足的进程设计的软件包可能会对您有所帮助。否则，您可以使用Amazon AWS services在更大的计算机上购买计算时间。

Answer 2

我的包$subFormBuilder = $this->createFormBuilder( null /* default data */, ['label' => 'Sub Form'] /* options */ ) ->add('name'); $form = $this->createFormBuilder() ->add($subFormBuilder) ->add('number') ->getForm(); 用于处理矩阵，同时将它们以二进制格式存储在文件中。函数filematrix从文本文件中读取矩阵并将其存储在二进制文件中，而不将整个矩阵加载到内存中。然后可以使用通常的下标fm.create.from.text.file通过部分访问它，或者在整个内存中快速加载fm[1:4,1:3]。