我有一个数据框,其中一些列包含nan。我想删除那些具有一定数量的nan的列。例如,在下面的代码中,我想删除任何包含2个或更多nan的列。在这种情况下,列' C'将被删除,只有' A'和' B'将被保留。我该如何实施呢?
import pandas as pd
import numpy as np
dff = pd.DataFrame(np.random.randn(10,3), columns=list('ABC'))
dff.iloc[3,0] = np.nan
dff.iloc[6,1] = np.nan
dff.iloc[5:8,2] = np.nan
print dff
答案 0 :(得分:23)
dropna
有一个thresh
参数,您只需要传递df的长度 - 您想要的NaN
值作为阈值:
In [13]:
dff.dropna(thresh=len(dff) - 2, axis=1)
Out[13]:
A B
0 0.517199 -0.806304
1 -0.643074 0.229602
2 0.656728 0.535155
3 NaN -0.162345
4 -0.309663 -0.783539
5 1.244725 -0.274514
6 -0.254232 NaN
7 -1.242430 0.228660
8 -0.311874 -0.448886
9 -0.984453 -0.755416
因此,上面将删除任何不符合df(行数)长度标准的列 - 2作为非Na值的数量。
答案 1 :(得分:3)
您可以使用条件列表理解:
>>> dff[[c for c in dff if dff[c].isnull().sum() < 2]]
A B
0 -0.819004 0.919190
1 0.922164 0.088111
2 0.188150 0.847099
3 NaN -0.053563
4 1.327250 -0.376076
5 3.724980 0.292757
6 -0.319342 NaN
7 -1.051529 0.389843
8 -0.805542 -0.018347
9 -0.816261 -1.627026
答案 2 :(得分:0)
这是一个可能的解决方案:
s = dff.isnull().apply(sum, axis=0) # count the number of nan in each column
print s
A 1
B 1
C 3
dtype: int64
for col in dff:
if s[col] >= 2:
del dff[col]
或
for c in dff:
if sum(dff[c].isnull()) >= 2:
dff.drop(c, axis=1, inplace=True)
答案 3 :(得分:0)
我推荐drop
- 方法。这是另一种解决方案:
dff.drop(dff.loc[:,len(dff) - dff.isnull().sum() <2], axis=1)
答案 4 :(得分:0)
假设您必须删除空值超过70%的列。
data.drop(data.loc[:,list((100*(data.isnull().sum()/len(data.index))>70))].columns, 1)