大熊猫中的内存错误

时间:2016-06-15 13:03:29

标签: pandas memory-management

我有一个大小约为800MB的csv文件,我试图通过pandas加载到数据帧中,但我不断收到内存错误。我需要加载它,以便我可以将它加入另一个较小的数据帧。

为什么即使我使用64位版本的Windows和Python 3.4 64位并且拥有超过8GB的RAM和大量的硬盘,我也会收到内存错误?这是熊猫中的一个错误吗?我该如何解决这个内存问题?

1 个答案:

答案 0 :(得分:0)

以块的形式阅读您的CSV可能会有所帮助:

chunk_size = 10**5
df = pd.concat([chunk for chunk in pd.read_csv(filename, chunksize=chunk_size)],
               ignore_index=False)