使用Pandas将大文件加载到RAM的原因是什么?

时间:2013-07-10 11:11:21

标签: python pandas

我正在使用python 2.7和Pandas使用Pandas 'read_csv'方法加载一个大的csv文件(~10G)。这个动作过去需要3-4分钟直到今天,突然间它开始需要几个小时而没有完成。机器有30G RAM和多个CPU,我检查了使用情况,几乎所有的内存和CPU都是免费的。此过程的状态也是' D'我读过的大部分时间(linux机器)通常都是在等待I / O时发生的?

如何调试此内容以查找导致问题的原因?

谢谢

0 个答案:

没有答案