读取json文件时消耗的内存

Question

我正在尝试读取几个json文件，并将它们附加到数据帧上。 这样做会消耗我的整个系统内存，这会减慢所有过程。

我发现pd.read_json（）将复制每个json文件并将其存储在内存中。我正在尝试从内存中删除这些数据帧。实施中有什么问题

def read_json(filename):
file = []
start = time.time()
for i in filename:
    x = pd.read_json(i, lines=True)
    file.append(x)
    del x
data = pd.concat(file, axis=0, ignore_index=True)
end = time.time()
print(end - start)
return(data)

如何删除数据框。

如果要删除它们，而不是造成我的内存丢失

Answer 1

您可以强制垃圾收集器释放未引用的内存：

import gc
gc.collect()