当列匹配时,从两个pandas DataFrame中过滤数据

时间:2016-12-15 17:00:54

标签: python pandas

我们说我有以下两个pandas.DataFramedf0df1

import pandas as pd

# 1st data set
dat0 = [['A0', 'B0', 'C0', 'case0', 1],
        ['A0', 'B2', 'C0', 'case0', 2],
        ['A1', 'B0', 'C0', 'case0', 3],
        ['A1', 'B1', 'C0', 'case0', 4],
        ['A0', 'B0', 'C1', 'case0', 5]]
df0 = pd.DataFrame(dat0, columns=['colA', 'colB', 'colC', 'colCase', 'colVal'])

# 2nd data set
dat1 = [['A0', 'B1', 'C2', 'case1', 6],
        ['A0', 'B2', 'C2', 'case1', 7],
        ['A1', 'B0', 'C2', 'case1', 8],
        ['A2', 'B2', 'C2', 'case1', 9]]
df1 = pd.DataFrame(dat1, columns=['colA', 'colB', 'colC', 'colCase', 'colVal'])

我试图得到所有的行,对于每一对列(A,B)都有case0和case1的值(即每个DF中的值)。

如果重要,我不能复制" DataFrames中的行:集合(A,B,C,case)在每个DF中都是唯一的。

所以我想找到一个看起来像的代码:

# Merge the DataFrames
df = pd.concat([df0, df1])  # maybe concat is not a good starting point

for a in ['A0', 'A1', 'A2']:
    for b in ['B0', 'B1', 'B2']:
        table = my_great_function(df, a, b)
        if table:
            print '---'
            print table

得到以下结果:

---
  colA colB colC colCase  colVal
1   A0   B2   C0   case0       2
1   A0   B2   C2   case1       7
---
  colA colB colC colCase  colVal
2   A1   B0   C0   case0       3
2   A1   B0   C2   case1       8

注意我不想获得只出现一行的结果,也不想出现两行或多行出现相同情况的结果。

有什么建议吗?

1 个答案:

答案 0 :(得分:4)

你可以做类似的事情。如果不完全符合您的要求,则相应地修改条件(此处每个g代表一个具有colA和colB唯一组合的子数据框):

for _, g in df.groupby(["colA", "colB"]):
    case_lst = g.colCase.tolist()
    if 'case0' in case_lst and 'case1' in case_lst:
        print("--------")
        print(g)

--------
  colA colB colC colCase  colVal
1   A0   B2   C0   case0       2
1   A0   B2   C2   case1       7
--------
  colA colB colC colCase  colVal
2   A1   B0   C0   case0       3
2   A1   B0   C2   case1       8