使用Python读取堆叠的JSON文件

Question

我有一个很大的JSONS文件（4.5 GB），无法一次全部用Python打开。该文件由几百万行组成，所有行均为JSON格式。每行都是一个放在方括号中的单独的JSON文件，因此文件的格式为：

{JSON}
{JSON}
{JSON}
...

我希望能够逐行读取文件，或者一次读取200行，但是我不知道该怎么做。 是否可以逐行读取文件，然后将各个JSON的所需部分放入数据框中？还是数据框太大而无法处理？

谢谢！

Answer 1

您可以使用file.readline()方法从文件中读取一行。

JSON的所需部分可以存储在内存中，但是请确保限制大小，然后将数据刷新到另一个文件或数据库

Answer 2

如果您使用通常的python读取文件方式打开文件，则会逐行读取文件。所以你可以做到

with open('big.json', 'r') as f:
    for line in f:
        #select stuff