如何检索pandas中有错误的所有行

Question

例如，我可以使用

pd.read_csv('file.csv')

加载csv文件。

默认情况下，当出现任何解析错误时，它会失败。我知道可以使用error_bad_lines=False跳过有错误的行。

但我的问题是：

如何获取发生错误的所有行？通过这种方式，我不仅可以解决此特定file.csv的问题，还可以解决批处理file1.csv, file2.csv, file3.csv ...

中的其他相关文件的问题。

Answer 1

一种简单的方法是为每行添加行索引号。在加载数据之前，可以使用Awk或Python轻松完成此操作。你甚至可以在内存中使用StringIO或你自己的自定义类文件对象在Python中进行，它会“神奇地”添加行号。