将大文件读入R

时间:2015-01-14 15:22:19

标签: r data.table

我正在尝试将大量空格分隔的文件(14Gb)49,376行和73,625列读入R中进行分析。

我已尝试使用fread包中的data.table,如建议here

我收到错误

Error: segfault from C stack overflow

这里可以使用另一种方法吗?任何其他包或某种解决此错误的方法?我的R会话信息如下。

R version 3.0.2 (2013-09-25)
Platform: x86_64-unknown-linux-gnu (64-bit)

locale:
 [1] LC_CTYPE=en_US       LC_NUMERIC=C         LC_TIME=en_US       
 [4] LC_COLLATE=en_US     LC_MONETARY=en_US    LC_MESSAGES=en_US   
 [7] LC_PAPER=en_US       LC_NAME=C            LC_ADDRESS=C        
[10] LC_TELEPHONE=C       LC_MEASUREMENT=en_US LC_IDENTIFICATION=C 

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
[1] data.table_1.9.4

loaded via a namespace (and not attached):
[1] chron_2.3-45 tools_3.0.2 

1 个答案:

答案 0 :(得分:0)

由于内存不足而发生错误。一旦我增加了内存限制,fread就会按预期工作。