Question

我正在处理大量（数千）~100k行csv文件，这些文件是由其他人生成的。 10个文件中有9个文件有8列，所有文件都是正确的。第10行~10行将在第6列之后插入2个额外列:(为简单起见，假设所有行中的值具有相同的值。）

A,B,C,D,E,F,G,H
A,B,C,D,E,F,G,H
A,B,C,D,E,F,Foo,Bar,G,H
A,B,C,D,E,F,G,H
A,B,C,D,E,F,Foo,Bar,G,H
A,B,C,D,E,F,G,H
A,B,C,D,E,F,G,H

我无法控制数据文件的生成，需要在我的最后清理它们，但我相信带有额外列的行会损坏数据，所以我现在只想拒绝它们。我认为处理这个问题的一个简单方法是将我的数据初始加载到10列DataFrame中：

In [100]: df = pd.read_csv(data_dir + data_file, names=ColumnNames)

In [101]: data_df
Out[101]: 
<class 'pandas.core.frame.DataFrame'>
Int64Index: 99531 entries, 0 to 99530
Data columns:
time             99531  non-null values
var1             99531  non-null values
var2             99531  non-null values
var3             99531  non-null values
var4             99531  non-null values
var5             99531  non-null values
var6             98386  non-null values
var7             29829  non-null values
extra1           10  non-null values
extra2           10  non-null values
dtypes: float64(3), int64(5), object(2)

然后检查extra1或extra2 isnull的位置，保留这些行，然后删除多余的行。

data_df = data_df[pd.isnull(data_df['extra1']) & pd.isnull(data_df['extra2'])]
del data_df['extra1']
del data_df['extra2']

这似乎有点圆/非理想。有没有人更清楚如何清理它？

由于

Answer 1

如果你想删除坏线，你可以使用error_bad_lines=False（和warn_bad_lines = False，如果你想让它保持沉默）：

>>> !cat unclean.csv
A,B,C,D,E,F,G,H
A,B,C,D,E,F,G,H
A,B,C,D,E,F,Foo,Bar,G,H
A,B,C,D,E,F,G,H
A,B,C,D,E,F,Foo,Bar,G,H
A,B,C,D,E,F,G,H
A,B,C,D,E,F,G,H
>>> df = pd.read_csv("unclean.csv", error_bad_lines=False, header=None)
Skipping line 3: expected 8 fields, saw 10
Skipping line 5: expected 8 fields, saw 10

>>> df
   0  1  2  3  4  5  6  7
0  A  B  C  D  E  F  G  H
1  A  B  C  D  E  F  G  H
2  A  B  C  D  E  F  G  H
3  A  B  C  D  E  F  G  H
4  A  B  C  D  E  F  G  H

Pandas CSV文件，中间偶尔会有额外的列

1 个答案: