将大文件读入R

时间:2013-01-12 14:22:48

标签: r csv ram

我是R的新手,但我知道它在“大”文件上窒息。我正在尝试读取200MB的数据文件。我已经尝试过csv格式,并将其转换为制表符分隔的txt,但在这两种情况下,我都会在文件加载前耗尽4GB的RAM。

R使用4GB或内存来加载200MB文件是否正常,或者文件是否有问题导致R除了数据之外还会继续阅读一堆虚无?

1 个答案:

答案 0 :(得分:10)

来自?read.table

Less memory will be used if colClasses is specified as one of the six atomic vector classes.

...

Using nrows, even as a mild over-estimate, will help memory usage.

使用这两个参数。

确保为数字数据正确指定numeric。见这里:Specifying colClasses in the read.csv

不要低估nrows。

如果您运行的是64位R,则可以尝试使用32位版本。它将使用更少的内存来保存相同的数据。

另见:Extend memory size limit in R