Question

我有两个数据框dfA和dfB，如下所示：

dfA = 
   entityId entityName property value
0         1        bob    propA     a
1         1        bob    propB     b
2         1        bob    propC     c
3         2       dave    propA    aa
4         2       dave    propC     c
5         3        bob    propA     a
6         3        bob    propB    bb
7         3        bob    propD     d
8         4       alex    propE    ee
9         4       alex    propF   fff

dfB = 
   entityId entityValid property value propValid  propId
0       123         yes    propA     a       yes  1
1       123         yes    propB     b       yes  2
2       123         yes    propC     c       yes  3
3       124          no    propA    aa        no  4
4       124          no    propC     c       yes  3
5       125    not sure    propA     a       yes  1
6       125    not sure    propB    bb       yes  5
7       125    not sure    propD     d       yes  6
8       126          no    propE    ee       yes  7
9       126          no    propF    FF       yes  8

我想知道的是，就属性和值列而言，dfA中的哪些实体与dfB中的实体是否完全匹配。

拆开数据框并首先在单个行中表示每个实体是否最有意义？我正在寻找的最终结果将是这样的，但是，任何有关如何解决该问题的意见都是值得的。

resultDf =
      entityId entityName  dfBEntityIdMatch  valid    invalidProps
0            1        bob  123               yes      ()
1            2       dave  124               no       (4)
2            3        bob  125               not sure ()
3            4       alex  '---'             '---'    '---'

谢谢。

产生数据帧的代码：

import pandas as pd
pd.set_option('display.max_columns',20)

dfA = pd.DataFrame([[1, 'bob', 'propA', 'a'],
                    [1, 'bob', 'propB', 'b' ],
                    [1, 'bob', 'propC', 'c' ],
                    [2, 'dave', 'propA', 'aa' ],
                    [2, 'dave', 'propC', 'c' ],
                    [3, 'bob', 'propA', 'a' ],
                    [3, 'bob', 'propB', 'bb' ],
                    [3, 'bob', 'propD', 'd' ],
                    [4, 'alex', 'propE', 'ee' ],
                    [4, 'alex', 'propF', 'fff' ]],
                   columns=['entityId', 'entityName', 'property', 'value'])

dfB = pd.DataFrame([[123, 'yes', 'propA', 'a', 'yes', 1],
                    [123, 'yes', 'propB', 'b', 'yes', 2],
                    [123, 'yes', 'propC', 'c', 'yes', 3],
                    [124, 'no', 'propA', 'aa', 'no', 4],
                    [124, 'no', 'propC', 'c', 'yes', 3],
                    [125, 'not sure', 'propA', 'a', 'yes', 1 ],
                    [125, 'not sure', 'propB', 'bb', 'yes', 5 ],
                    [125, 'not sure', 'propD', 'd', 'yes', 6 ],
                    [126, 'no', 'propE', 'ee', 'yes', 7],
                    [126, 'no', 'propF', 'FF', 'yes', 8 ]],
                   columns=['entityId', 'entityValid', 'property', 'value', 'propValid', 'propId'])

Answer 1

这是一种至少在您提供的数据上获得与预期输出相似的结果的方法。首先在dfB中创建“ invalidProps”列

dfB.loc[dfB['propValid'] == 'no','invalidProps'] = dfB.loc[dfB['propValid'] == 'no','propId']
dfB['invalidProps'] = dfB['invalidProps'].fillna('')

现在，您可以单独使用groupby这两个数据帧，也可以使用不同的方法使用agg。如果您的实际数据在数据帧之间的顺序不同，则需要先按sort_values按“属性”和“值”

dfA_g = (dfA.sort_values(['property', 'value'])
              .groupby(['entityId','entityName'],as_index=False).agg(tuple))
dfB_g = (dfB.sort_values(['property', 'value'])
              .groupby(['entityId','entityValid'],as_index=False)
               .agg({'property':lambda x: tuple(x), 
                     'value':lambda x: tuple(x), 
                     'invalidProps':lambda x: tuple(filter(None,x))}))

现在您可以merge设置“属性”和“值”，并使用fillna替换nan值，drop多余的列，rename保留一个：

resultDf  = (dfA_g.merge(dfB_g, how='left', on=['property', 'value'],suffixes=('','_'))
                  .fillna('---').drop(['property', 'value'],1)
                  .rename(columns={'entityId_':'dfBEntityIdMatch', 'entityValid':'valid'}))

您会得到类似的东西：

   entityId entityName dfBEntityIdMatch     valid invalidProps
0         1        bob              123       yes           ()
1         2       dave              124        no       (4.0,)
2         3        bob              125  not sure           ()
3         4       alex              ---       ---          ---

熊猫-数据框的特定行是数据框B的特定行的子集吗？

1 个答案: