(R错误)错误:内存耗尽(达到限制?)

时间:2016-10-19 22:51:46

标签: r bigdata

我正在使用大数据,我有一个70GB的JSON文件。 我正在使用jsonlite库将文件加载到内存中。

我已经尝试过AWS EC2 x1.16大型机器(976 GB RAM)来执行此加载,但R会出现错误: Error: cons memory exhausted (limit reached?) 加载1,116,500条记录后。 考虑到我没有足够的RAM,我试着在一台更大的EC2机器上加载相同的JSON,内存为1.95TB。

加载1,116,500条记录后,该过程仍然破裂。我正在使用R版本3.1.1,我正在使用--vanilla选项执行它。所有其他设置都是默认设置。

这是代码:

library(jsonlite)
data <- jsonlite::stream_in(file('one.json'))

有什么想法吗?

0 个答案:

没有答案