我正在使用大数据,我有一个70GB的JSON文件。 我正在使用jsonlite库将文件加载到内存中。
我已经尝试过AWS EC2 x1.16大型机器(976 GB RAM)来执行此加载,但R会出现错误:
Error: cons memory exhausted (limit reached?)
加载1,116,500条记录后。
考虑到我没有足够的RAM,我试着在一台更大的EC2机器上加载相同的JSON,内存为1.95TB。
加载1,116,500条记录后,该过程仍然破裂。我正在使用R版本3.1.1,我正在使用--vanilla
选项执行它。所有其他设置都是默认设置。
这是代码:
library(jsonlite)
data <- jsonlite::stream_in(file('one.json'))
有什么想法吗?