如何在不占用大量内存的情况下阅读pickle文件

时间:2017-12-06 21:25:45

标签: python pandas pickle

目前我有一个包含以下内容的循环:

df = pandas.read_pickle(filepath)

文件大约100 MB。然而,由于它循环这么多次,它占用了大量内存,最终我得到了内存错误。有没有办法做到这一点,我可以在获得数据帧后关闭文件?

我的代码是正确的,因为我用较少的文件测试了它。我只想要一个替代方法来读取大型pickle文件,而不会在读取后占用太多内存。

1 个答案:

答案 0 :(得分:1)

del df
gc.collect()

擦除引用和垃圾收集器。

编辑,这会从内存中删除您的数据帧,您无法关闭文件,获取信息并且不要使用ram。