加载文件时,Python使用太多内存

时间:2017-04-17 05:10:23

标签: python pandas numpy

我有一个包含大约2000行和100000列的文件,文件大小约为350 MB。我试图通过这样做

将该文件加载到python中
data = pd.read_csv('data.txt', header=None, delim_whitespace=True).as_matrix()

我刚注意到在我的任务管理器中python.exe使用了大约7GB的内存。请注意,除了加载必要的库之外,上面显示的代码行是我迄今为止所做的唯一任务。造成这种情况的原因是什么?如何解决?

编辑:我的问题与你指出的线程没有关系,因为线程是关于处理大文件而我正在使用350MB文件,我的问题的主要目的是弄清楚为什么需要7GB的内存存储350MB文件。

0 个答案:

没有答案