内存使用情况阅读熊猫数据帧

时间:2013-05-31 07:54:42

标签: python pandas

我在读取文件时甚至从txt或HDF5格式到pandas中的数据帧时遇到一些问题,因为存储为txt并使用read_table读取的大约200 mb字符串的txt文件导致大约600 Mb的内存消耗。如果我将数据帧附加到HDFStore,那么该文件也大约为200 MB。这是我如何阅读文件

datatypes=[('FIELD1','S13'),('FIELD2','S3'),('FIELD3','S31')]
df=pd.read_table('c:\\folder1\\example1.txt',sep='|',dtype=datatypes)

有没有办法在内存使用方面更有效地读取txt文件?

我正在使用pandas v 0.11.0

提前谢谢

0 个答案:

没有答案