目前我有一个包含以下内容的循环:
df = pandas.read_pickle(filepath)
文件大约100 MB。然而,由于它循环这么多次,它占用了大量内存,最终我得到了内存错误。有没有办法做到这一点,我可以在获得数据帧后关闭文件?
我的代码是正确的,因为我用较少的文件测试了它。我只想要一个替代方法来读取大型pickle文件,而不会在读取后占用太多内存。
答案 0 :(得分:1)
del df
gc.collect()
擦除引用和垃圾收集器。
编辑,这会从内存中删除您的数据帧,您无法关闭文件,获取信息并且不要使用ram。