如何找出所有用零填充的行或列,并在python中的pandas.DataFrame中删除它们?

时间:2014-04-14 14:25:48

标签: python pandas

我有这样的pandas.DataFrame()对象:

In [11]: df
Out[11]: 
   a  b
0  0  1
1  0  1
2  0  0
3  0  0
4  1  1

[5 rows x 2 columns]

我想删除所有用零填充的行:这里的索引为2和3的行。

期望的输出:

In [12]: magic_func(df)
Out[12]: 
   a  b
0  0  1
1  0  1
4  1  1

[3 rows x 2 columns]

1 个答案:

答案 0 :(得分:2)

df.loc[~(df == 0).all(axis=1)]

演示:

In [92]: df = pd.DataFrame({'a':[0,0,0,0,1], 'b':[1,1,0,0,1]})

In [93]: df
Out[93]: 
   a  b
0  0  1
1  0  1
2  0  0
3  0  0
4  1  1

[5 rows x 2 columns]

In [94]: (df == 0).all(axis=1)
Out[94]: 
0    False
1    False
2     True
3     True
4    False
dtype: bool

In [95]: df.loc[~(df == 0).all(axis=1)]
Out[95]: 
   a  b
0  0  1
1  0  1
4  1  1

[3 rows x 2 columns]

df[~df.isin([0]).all(axis=1)]也有效:

In [108]: df[~df.isin([0]).all(axis=1)]
Out[108]: 
   a  b
0  0  1
1  0  1
4  1  1

但对于大型数据帧来说可能会更慢:

In [106]: df2 = pd.concat([df]*10000)

In [109]: %timeit df2.loc[~(df2 == 0).all(axis=1)]
100 loops, best of 3: 5.19 ms per loop

In [110]: %timeit df2[~df2.isin([0]).all(axis=1)]
10 loops, best of 3: 50.2 ms per loop
当您需要针对大量值测试成员资格时,

isin非常有用,但对于只有一个值,它不会令人惊讶df == 0,更直接,更快。