加载大型JSON文件时的内存错误python 3.4

时间:2017-05-16 15:19:35

标签: python json numpy

我正在尝试使用以下命令VALUES (POINT '(1,1)'), (POINT '(2, 2)') EXCEPT VALUES (POINT '(1,1)'); ┌─────────┐ │ column1 │ ├─────────┤ │ (2,2) │ └─────────┘ (1 row) 加载大型Json文件(大小:8,5 GB)

会引发内存错误

pandas.read_json(myfile)

我有一个32 GB的物理RAM,我正在使用CentOs虚拟机,其中我有28 GB的RAM。 有办法克服这个问题吗? 提前致谢

1 个答案:

答案 0 :(得分:1)

根据你的可用物理内存将json分成比ram少的文件,然后在加载另一个json文件之前加载每个并保存它