我有一个很大的整数列表列表,不同级别的列表长度不同,否则我会使用numpy存储。我现在使用存储整数列表的最后一级
array('i', listofinteger)
以节省内存。总大小约为5G(如果我直接使用列表而不是array('i')
,则大约为20G)。当我使用pickle加载文件时,它需要大约30G的内存,并且在加载完成后内存不会释放。即使我删除了所有数据,它仍然需要超过25G的内存。内存仅在python存在后才会释放
任何解决方案如何解决这个问题?为什么咸菜还能保留记忆?
有关如何存储数据的任何建议吗?