我有一个pandas df并想在这些方面完成某些事情(用SQL术语):
SELECT * FROM df WHERE column1 = 'a' OR column2 = 'b' OR column3 = 'c' etc.
现在这适用于一个列/值对:
foo = df.loc[df['column']==value]
但是,我不确定如何将其扩展为多个列/值对
答案 0 :(得分:80)
由于运算符优先级,您需要在括号中包含多个条件,并使用按位和(&
)和或(|
)运算符:
foo = df.ix[(df['column1']==value) | (df['columns2'] == 'b') | (df['column3'] == 'c')]
如果您使用and
或or
,那么大熊猫可能会抱怨比较模糊不清。在这种情况下,我们不清楚我们是否正在比较条件中一系列中的每个值,如果只有1或全部但是1与条件相匹配则意味着什么。这就是为什么你应该使用按位运算符或numpy np.all
或np.any
来指定匹配条件。
还有查询方法:http://pandas.pydata.org/pandas-docs/dev/generated/pandas.DataFrame.query.html
但是有一些限制主要与列名和索引值之间可能存在歧义的问题有关。
答案 1 :(得分:20)
更简洁 - 但不一定更快 - 的方法是使用DataFrame.isin()
和DataFrame.any()
In [27]: n = 10
In [28]: df = DataFrame(randint(4, size=(n, 2)), columns=list('ab'))
In [29]: df
Out[29]:
a b
0 0 0
1 1 1
2 1 1
3 2 3
4 2 3
5 0 2
6 1 2
7 3 0
8 1 1
9 2 2
[10 rows x 2 columns]
In [30]: df.isin([1, 2])
Out[30]:
a b
0 False False
1 True True
2 True True
3 True False
4 True False
5 False True
6 True True
7 False False
8 True True
9 True True
[10 rows x 2 columns]
In [31]: df.isin([1, 2]).any(1)
Out[31]:
0 False
1 True
2 True
3 True
4 True
5 True
6 True
7 False
8 True
9 True
dtype: bool
In [32]: df.loc[df.isin([1, 2]).any(1)]
Out[32]:
a b
1 1 1
2 1 1
3 2 3
4 2 3
5 0 2
6 1 2
8 1 1
9 2 2
[8 rows x 2 columns]
答案 2 :(得分:2)
@EdChum在2014年所做的所有考虑仍然有效,但是pandas.Dataframe.ix
方法已从熊猫0.0.20版本开始弃用。直接来自docs:
警告:从0.20.0开始,不推荐使用.ix索引器, 更严格的.iloc和.loc索引器。
在后续的熊猫版本中,此方法已被新的indexing方法pandas.Dataframe.loc和pandas.Dataframe.iloc取代。
如果您想了解更多信息,请在this帖子中找到上述方法之间的比较。
最终,到目前为止(从这个角度来看,即将发布的熊猫版本似乎没有任何变化),对此问题的答案如下:
foo = df.loc[(df['column1']==value) | (df['columns2'] == 'b') | (df['column3'] == 'c')]
答案 3 :(得分:1)
students = [ ('jack1', 'Apples1' , 341) ,
('Riti1', 'Mangos1' , 311) ,
('Aadi1', 'Grapes1' , 301) ,
('Sonia1', 'Apples1', 321) ,
('Lucy1', 'Mangos1' , 331) ,
('Mike1', 'Apples1' , 351),
('Mik', 'Apples1' , np.nan)
]
#Create a DataFrame object
df = pd.DataFrame(students, columns = ['Name1' , 'Product1', 'Sale1'])
print(df)
Name1 Product1 Sale1
0 jack1 Apples1 341
1 Riti1 Mangos1 311
2 Aadi1 Grapes1 301
3 Sonia1 Apples1 321
4 Lucy1 Mangos1 331
5 Mike1 Apples1 351
6 Mik Apples1 NaN
# Select rows in above DataFrame for which ‘Product’ column contains the value ‘Apples’,
subset = df[df['Product1'] == 'Apples1']
print(subset)
Name1 Product1 Sale1
0 jack1 Apples1 341
3 Sonia1 Apples1 321
5 Mike1 Apples1 351
6 Mik Apples1 NA
# Select rows in above DataFrame for which ‘Product’ column contains the value ‘Apples’, AND notnull value in Sale
subsetx= df[(df['Product1'] == "Apples1") & (df['Sale1'].notnull())]
print(subsetx)
Name1 Product1 Sale1
0 jack1 Apples1 341
3 Sonia1 Apples1 321
5 Mike1 Apples1 351
# Select rows in above DataFrame for which ‘Product’ column contains the value ‘Apples’, AND Sale = 351
subsetx= df[(df['Product1'] == "Apples1") & (df['Sale1'] == 351)]
print(subsetx)
Name1 Product1 Sale1
5 Mike1 Apples1 351
# Another example
subsetData = df[df['Product1'].isin(['Mangos1', 'Grapes1']) ]
print(subsetData)
Name1 Product1 Sale1
1 Riti1 Mangos1 311
2 Aadi1 Grapes1 301
4 Lucy1 Mangos1 331
这是我找到的原始链接。我编辑了一下-https://thispointer.com/python-pandas-select-rows-in-dataframe-by-conditions-on-multiple-columns/
答案 4 :(得分:1)
query() 方法可以非常直观地做到这一点。在要评估的字符串中表达您的条件,如下例所示:
df = df.query("columnNameA <= @x or columnNameB == @y")
x 和 y 是声明的变量,你可以用 @ 引用