我有一个大小约为800MB的csv文件,我试图通过pandas加载到数据帧中,但我不断收到内存错误。我需要加载它,以便我可以将它加入另一个较小的数据帧。
为什么即使我使用64位版本的Windows和Python 3.4 64位并且拥有超过8GB的RAM和大量的硬盘,我也会收到内存错误?这是熊猫中的一个错误吗?我该如何解决这个内存问题?
答案 0 :(得分:0)
以块的形式阅读您的CSV可能会有所帮助:
chunk_size = 10**5
df = pd.concat([chunk for chunk in pd.read_csv(filename, chunksize=chunk_size)],
ignore_index=False)