使用pandas选择以多个等价物为条件的行

时间:2014-03-20 22:23:37

标签: python pandas

我有一个pandas df并想在这些方面完成某些事情(用SQL术语):

SELECT * FROM df WHERE column1 = 'a' OR column2 = 'b' OR column3 = 'c' etc.

现在这适用于一个列/值对:

foo = df.loc[df['column']==value]

但是,我不确定如何将其扩展为多个列/值对

5 个答案:

答案 0 :(得分:80)

由于运算符优先级,您需要在括号中包含多个条件,并使用按位和(&)和或(|)运算符:

foo = df.ix[(df['column1']==value) | (df['columns2'] == 'b') | (df['column3'] == 'c')]

如果您使用andor,那么大熊猫可能会抱怨比较模糊不清。在这种情况下,我们不清楚我们是否正在比较条件中一系列中的每个值,如果只有1或全部但是1与条件相匹配则意味着什么。这就是为什么你应该使用按位运算符或numpy np.allnp.any来指定匹配条件。

还有查询方法:http://pandas.pydata.org/pandas-docs/dev/generated/pandas.DataFrame.query.html

但是有一些限制主要与列名和索引值之间可能存在歧义的问题有关。

答案 1 :(得分:20)

更简洁 - 但不一定更快 - 的方法是使用DataFrame.isin()DataFrame.any()

In [27]: n = 10

In [28]: df = DataFrame(randint(4, size=(n, 2)), columns=list('ab'))

In [29]: df
Out[29]:
   a  b
0  0  0
1  1  1
2  1  1
3  2  3
4  2  3
5  0  2
6  1  2
7  3  0
8  1  1
9  2  2

[10 rows x 2 columns]

In [30]: df.isin([1, 2])
Out[30]:
       a      b
0  False  False
1   True   True
2   True   True
3   True  False
4   True  False
5  False   True
6   True   True
7  False  False
8   True   True
9   True   True

[10 rows x 2 columns]

In [31]: df.isin([1, 2]).any(1)
Out[31]:
0    False
1     True
2     True
3     True
4     True
5     True
6     True
7    False
8     True
9     True
dtype: bool

In [32]: df.loc[df.isin([1, 2]).any(1)]
Out[32]:
   a  b
1  1  1
2  1  1
3  2  3
4  2  3
5  0  2
6  1  2
8  1  1
9  2  2

[8 rows x 2 columns]

答案 2 :(得分:2)

@EdChum在2014年所做的所有考虑仍然有效,但是pandas.Dataframe.ix方法已从熊猫0.0.20版本开始弃用。直接来自docs

  

警告:从0.20.0开始,不推荐使用.ix索引器,   更严格的.iloc和.loc索引器。

在后续的熊猫版本中,此方法已被新的indexing方法pandas.Dataframe.locpandas.Dataframe.iloc取代。

如果您想了解更多信息,请在this帖子中找到上述方法之间的比较。

最终,到目前为止(从这个角度来看,即将发布的熊猫版本似乎没有任何变化),对此问题的答案如下:

foo = df.loc[(df['column1']==value) | (df['columns2'] == 'b') | (df['column3'] == 'c')]

答案 3 :(得分:1)

最简单的方法

如果这有帮助,请按向上箭头!火车!!

students = [ ('jack1', 'Apples1' , 341) ,
             ('Riti1', 'Mangos1'  , 311) ,
             ('Aadi1', 'Grapes1' , 301) ,
             ('Sonia1', 'Apples1', 321) ,
             ('Lucy1', 'Mangos1'  , 331) ,
             ('Mike1', 'Apples1' , 351),
              ('Mik', 'Apples1' , np.nan)
              ]
#Create a DataFrame object
df = pd.DataFrame(students, columns = ['Name1' , 'Product1', 'Sale1']) 
print(df)


    Name1 Product1  Sale1
0   jack1  Apples1    341
1   Riti1  Mangos1    311
2   Aadi1  Grapes1    301
3  Sonia1  Apples1    321
4   Lucy1  Mangos1    331
5   Mike1  Apples1    351
6     Mik  Apples1    NaN

# Select rows in above DataFrame for which ‘Product’ column contains the value ‘Apples’,
subset = df[df['Product1'] == 'Apples1']
print(subset)

 Name1 Product1  Sale1
0   jack1  Apples1    341
3  Sonia1  Apples1    321
5   Mike1  Apples1    351
6     Mik  Apples1    NA

# Select rows in above DataFrame for which ‘Product’ column contains the value ‘Apples’, AND notnull value in Sale

subsetx= df[(df['Product1'] == "Apples1")  & (df['Sale1'].notnull())]
print(subsetx)
    Name1   Product1    Sale1
0   jack1   Apples1      341
3   Sonia1  Apples1      321
5   Mike1   Apples1      351

# Select rows in above DataFrame for which ‘Product’ column contains the value ‘Apples’, AND Sale = 351

subsetx= df[(df['Product1'] == "Apples1")  & (df['Sale1'] == 351)]
print(subsetx)

   Name1 Product1  Sale1
5  Mike1  Apples1    351

# Another example
subsetData = df[df['Product1'].isin(['Mangos1', 'Grapes1']) ]
print(subsetData)

Name1 Product1  Sale1
1  Riti1  Mangos1    311
2  Aadi1  Grapes1    301
4  Lucy1  Mangos1    331

这是我找到的原始链接。我编辑了一下-https://thispointer.com/python-pandas-select-rows-in-dataframe-by-conditions-on-multiple-columns/

答案 4 :(得分:1)

query() 方法可以非常直观地做到这一点。在要评估的字符串中表达您的条件,如下例所示:

df = df.query("columnNameA <= @x or columnNameB == @y")

x 和 y 是声明的变量,你可以用 @ 引用