Pandas - 修剪空格,列数错误

时间:2016-04-29 02:14:23

标签: python csv pandas whitespace

我试图解析一个大的以管道分隔的文本文件来删除空格。文本文件从数据库导出为125GB文件,但删除空格会将其降低到更易管理的大小。

 for chunk in      pd.read_table(path,sep='|',skipinitialspace=True,chunksize=ch):
chunk.to_csv(outfile,sep='|',index=False,chunksize=ch,mode='a')

但是我遇到了关于列数的下面的错误

CParserError:标记数据时出错。 C错误:预计行431774中的40个字段,见59

我检查了第431774行,它确实映射到了40个字段。据我所知,整个文件按每行40个字段组织。

为什么会发生这种情况的任何想法?

0 个答案:

没有答案