我在读取文件时甚至从txt或HDF5格式到pandas中的数据帧时遇到一些问题,因为存储为txt并使用read_table读取的大约200 mb字符串的txt文件导致大约600 Mb的内存消耗。如果我将数据帧附加到HDFStore,那么该文件也大约为200 MB。这是我如何阅读文件
datatypes=[('FIELD1','S13'),('FIELD2','S3'),('FIELD3','S31')]
df=pd.read_table('c:\\folder1\\example1.txt',sep='|',dtype=datatypes)
有没有办法在内存使用方面更有效地读取txt文件?
我正在使用pandas v 0.11.0
提前谢谢