在R中哪些包可以快速加载更大的数据

Question

在R中，通常将数据加载到RAM中。 是否有任何软件包将数据加载到磁盘而不是RAM

Answer 1

查看bigmemory软件包以及相关软件包，例如bigtabulate，bigalgebra，biganalytics等。还有ff，但我发现它不像bigmemory套件那样方便用户使用。据报道，bigmemory套件部分是由于使用ff的困难所致。我喜欢它，因为我需要对代码进行很少的更改才能访问bigmatrix对象：它可以以与标准矩阵几乎完全相同的方式进行操作，因此我的代码非常可重用。

在RNetCDF和ncdf等软件包中，还通过NetCDF4支持HDF5。这是一种流行的多平台多语言方法，用于高效存储和访问大型数据集。

如果您想要基本的内存映射功能，请查看mmap包。

Answer 2

是的，ff包可以做到这一点。

您可能需要查看Task View on High-Performance Computing了解详情。