大数据中字符串中的EOF

时间:2014-06-03 01:27:23

标签: python csv pandas import-from-csv

从iPython我在一组相对庞大的数据上运行read_csv(1gb ++)

我的回复是

  

CParserError:标记数据时出错。 C错误:字符串中的EOF从第891743行开始

我知道在数据中读取特定字符串时出错,但我无法深入细节来纠正错误。

参考来自:

https://github.com/pydata/pandas/issues/5500

他潜入数据级别并在那里进行纠正。但是由于我正在处理的数据大小,我似乎无法了解如何纠正这个问题。我真的不能这样做。

1 个答案:

答案 0 :(得分:0)

如果您使用的是Linux,请在终端中输入:

head -n891743 <filename> | tail -n1 > out

这会将csv文件的第891743行写入“ out”文件。