我试图解析一个大的以管道分隔的文本文件来删除空格。文本文件从数据库导出为125GB文件,但删除空格会将其降低到更易管理的大小。
for chunk in pd.read_table(path,sep='|',skipinitialspace=True,chunksize=ch):
chunk.to_csv(outfile,sep='|',index=False,chunksize=ch,mode='a')
但是我遇到了关于列数的下面的错误
CParserError:标记数据时出错。 C错误:预计行431774中的40个字段,见59
我检查了第431774行,它确实映射到了40个字段。据我所知,整个文件按每行40个字段组织。
为什么会发生这种情况的任何想法?