Question

我需要使用dict过滤数据框，使用键作为列名构造，值是我想要过滤的值：

filter_v = {'A':1, 'B':0, 'C':'This is right'}
# this would be the normal approach
df[(df['A'] == 1) & (df['B'] ==0)& (df['C'] == 'This is right')]

但我想在线上做点什么

for column, value in filter_v.items():
    df[df[column] == value]

但这会多次过滤数据框，一次过滤一个值，而不会同时应用所有过滤器。有没有办法以编程方式进行？

编辑：一个例子：

df1 = pd.DataFrame({'A':[1,0,1,1, np.nan], 'B':[1,1,1,0,1], 'C':['right','right','wrong','right', 'right'],'D':[1,2,2,3,4]})
filter_v = {'A':1, 'B':0, 'C':'right'}
df1.loc[df1[filter_v.keys()].isin(filter_v.values()).all(axis=1), :]

给出

    A   B   C   D
0   1   1   right   1
1   0   1   right   2
3   1   0   right   3

但预期结果是

    A   B   C   D
3   1   0   right   3

只应选择最后一个。

Answer 1

<\ n> IIUC，你应该能够做到这样的事情：

>>> df1.loc[(df1[list(filter_v)] == pd.Series(filter_v)).all(axis=1)]
   A  B      C  D
3  1  0  right  3

这可以通过制作一个与之比较的系列来实现：

>>> pd.Series(filter_v)
A        1
B        0
C    right
dtype: object

选择df1的相应部分：

>>> df1[list(filter_v)]
    A      C  B
0   1  right  1
1   0  right  1
2   1  wrong  1
3   1  right  0
4 NaN  right  1

找到匹配的位置：

>>> df1[list(filter_v)] == pd.Series(filter_v)
       A      B      C
0   True  False   True
1  False  False   True
2   True  False  False
3   True   True   True
4  False  False   True

找到所有匹配的位置：

>>> (df1[list(filter_v)] == pd.Series(filter_v)).all(axis=1)
0    False
1    False
2    False
3     True
4    False
dtype: bool

最后使用它来索引到df1：

>>> df1.loc[(df1[list(filter_v)] == pd.Series(filter_v)).all(axis=1)]
   A  B      C  D
3  1  0  right  3

Answer 2

这是一种方法：

df.loc[df[filter_v.keys()].isin(filter_v.values()).all(axis=1), :]

<强>更新

如果各列的值相同，则可以执行以下操作：

# Create your filtering function:

def filter_dict(df, dic):
    return df[df[dic.keys()].apply(
            lambda x: x.equals(pd.Series(dic.values(), index=x.index, name=x.name)), asix=1)]

# Use it on your DataFrame:

filter_dict(df1, filter_v)

哪个收益率：

   A  B      C  D
3  1  0  right  3

如果您经常这样做，您可以修补DataFrame以便轻松访问此过滤器：

pd.DataFrame.filter_dict_ = filter_dict

然后像这样使用这个过滤器：

df1.filter_dict_(filter_v)

哪会产生相同的结果。

但是，显然不是正确的方式。我会使用DSM的方法。

Answer 3

这是另一种方式：

filterSeries = pd.Series(np.ones(df.shape[0],dtype=bool))
for column, value in filter_v.items():
    filterSeries = ((df[column] == value) & filterSeries)

这给出了：

>>> df[filterSeries]
   A  B      C  D
3  1  0  right  3

Answer 4

对于python2，在@primer的答案中可以。但是，由于 dict_keys ，在Python3中应格外小心。例如，

>> df.loc[df[filter_v.keys()].isin(filter_v.values()).all(axis=1), :]
>> TypeError: unhashable type: 'dict_keys'

使用Python3的正确方法：

df.loc[df[list(filter_v.keys())].isin(list(filter_v.values())).all(axis=1), :]

Answer 5

要跟踪DSM的答案，您还可以使用any()将查询转换为“或”运算（而不是AND）：

df1.loc[(df1[list(filter_v)] == pd.Series(filter_v)).any(axis=1)]

Answer 6

上面的抽象，用于传递过滤器值而不是单个值的数组（类似于pandas.core.series.Series.isin（））。使用相同的示例：

df1 = pd.DataFrame({'A':[1,0,1,1, np.nan], 'B':[1,1,1,0,1], 'C':['right','right','wrong','right', 'right'],'D':[1,2,2,3,4]})
filter_v = {'A':[1], 'B':[1,0], 'C':['right']}
##Start with array of all True
ind = [True] * len(df1)

##Loop through filters, updating index
for col, vals in filter_v.items():
    ind = ind & (df1[col].isin(vals))

##Return filtered dataframe
df1[ind]

##Returns

    A   B    C      D
0   1.0 1   right   1
3   1.0 0   right   3

Answer 7

我遇到了一个问题，因为我的字典中的同一键有多个值。

我能够将DSM的查询更改为：

df1.loc[df1[list(filter_v)].isin(filter_v).all(axis=1), :]

使用dict中的值过滤pandas数据帧

7 个答案: