Question

我有一个数据框，我希望能够使用np.where根据给定条件查找某些元素，然后使用pd.drop擦除与np找到的索引对应的元素。其中。

即，

idx_to_drop = np.where(myDf['column10'].isnull() | myDf['column14'].isnull())
myDf.drop(idx_to_drop)

但是我得到一个值错误，因为drop不会占用numpy数组索引。有没有办法在pandas中使用np.where和一些drop函数来实现这个目的？

Answer 1

有两种常见的模式可以实现：

选择那些不满足“丢弃”条件的行或否定您的条件并选择满足这些条件的行 - @jezrael has provided a good example for that approach。

删除符合“丢弃”条件的行：

df = df.drop(np.where(df['column10'].isnull() | df['column14'].isnull())[0])

时机：第一种方法似乎有点快：

设定：

df = pd.DataFrame(np.random.rand(100,5), columns=list('abcde'))
df.loc[::7, ::2] = np.nan
df = pd.concat([df] * 10**4, ignore_index=True)

In [117]: df.shape
Out[117]: (1000000, 5)

In [118]: %timeit df[~(df['a'].isnull() | df['e'].isnull())]
10 loops, best of 3: 46.6 ms per loop

In [119]: %timeit df[df['a'].notnull() & df['e'].notnull()]
10 loops, best of 3: 39.9 ms per loop

In [120]: %timeit df.drop(np.where(df['a'].isnull() | df['e'].isnull())[0])
10 loops, best of 3: 65.5 ms per loop

In [122]: %timeit df.drop(np.where(df[['a','e']].isnull().any(1))[0])
10 loops, best of 3: 97.1 ms per loop

In [123]: %timeit df[df[['a','e']].notnull().all(1)]
10 loops, best of 3: 72 ms per loop

Answer 2

我认为~，boolean indexing和|（按位or）需要isnull反向条件：

print (~(myDf['column10'].isnull() | myDf['column14'].isnull()))
0    False
1     True
2    False
dtype: bool

myDf[~(myDf['column10'].isnull() | myDf['column14'].isnull())]

样品：

myDf = pd.DataFrame({'column10':[np.nan, 1,5], 'column14':[np.nan, 1,np.nan]})
print (myDf)
   column10  column14
0       NaN       NaN
1       1.0       1.0
2       5.0       NaN

myDf = myDf[~(myDf['column10'].isnull() | myDf['column14'].isnull())]
print (myDf)
   column10  column14
1       1.0       1.0

使用notnull和&（按位and）

的解决方案

myDf = myDf[myDf['column10'].notnull() & myDf['column14'].notnull()]
print (myDf)
   column10  column14
1       1.0       1.0

any或all的其他解决方案：

myDf = myDf[~myDf[['column10', 'column14']].isnull().any(axis=1)]
print (myDf)
   column10  column14
1       1.0       1.0

myDf = myDf[myDf[['column10', 'column14']].notnull().all(axis=1)]
print (myDf)
   column10  column14
1       1.0       1.0

pandas dataframe使用np.where并放在一起

2 个答案: