我有一个170 MB大小的csv文件,并且有一个3行标题。 在我的机器上有3 Gb内存(启动前使用1,3 Gb),使用
pd.read_csv(filepath, header = None, skiprows=[1,2,3])
我得到了
C:\Users\myname\AppData\Local\Continuum\Anaconda\lib\site-packages\pandas\io\parsers.py:1130: DtypeWarning: Columns (1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24) have mixed types. Specify dtype option on import or set low_memory=False.
然后是一些错误提示,最后是
MemoryError
我的数据如下: 第一列是一个字符串(代表一个日期) 所有其他列都是数字
列数未知,必须动态处理不同的csv文件。 如何指定dtypes?