根据子字符串匹配列

时间:2018-07-09 22:13:02

标签: python pandas join merge pattern-matching

假设您有三组(A,B,C),其组成如下:

 +-------+-----------+
 | Group | Component |
 +-------+-----------+
 | A     |        31 |
 | A     |       322 |
 | A     |       323 |
 | B     |       321 |
 | B     |       327 |
 | B     |        33 |
 | C     |        31 |
 | C     |        32 |
 | C     |        33 |
 +-------+-----------+

这可以存储在称为“组”的数据框或字典中。请注意,组之间存在重叠。

我有以下名为'df'的数据框(实际表较大):

 +--------+----------+--------+
 | Sender | Receiver | Value  |
 +--------+----------+--------+
 | 312345 |   313452 | 1022.1 |
 | 320952 |   327901 | 4921.0 |
 +--------+----------+--------+

我想以某种方式将'groups'表与'df'联接在一起,这样我还有另外两列,每列根据发送者/接收者代码是否包含组件来显示发送者和接收者与哪个组相关联。我只想查看两组相同的情况。目标表如下所示:

 +--------+----------+--------+--------------+----------------+
 | Sender | Receiver | Value  | Sender_Group | Receiver_Group |
 +--------+----------+--------+--------------+----------------+
 | 312345 |   313452 | 1022.1 | A            | A              |
 | 312345 |   313452 | 1022.1 | C            | C              |
 | 320952 |   327901 | 4921.0 | C            | C              |
 +--------+----------+--------+--------------+----------------+

请注意,即使327901与组B相关联,320952也没有,因此未显示。最终目标是按每组汇总值。

我尝试过这样的事情:

pat = "|".join(groups.Component.astype('str'))
df.insert(0, 'Sender_Group', df['Sender'].str.extract("(" + pat + ')', expand=False))
df.insert(1, 'Receiver_Group', df['Receiver'].str.extract("(" + pat + ')', expand=False))
new_df = df.query('Sender_Group == Receiver_Group')

但是,这样做的限制是每个发件人/收件人只能与一个组关联。我需要一个允许它们与多个关联的解决方案。有什么想法吗?

1 个答案:

答案 0 :(得分:1)

您可以使用一列来代表发件人(接收者)所属的所有组作为list。然后,您可以按照讨论的for this question将此列扩展为多行。

df['sender_group'] = df['sender'].apply(
    lambda x: groups['group'][groups['component'].apply(
        lambda y: str(y) in str(x)
    )].values
)

给出

   sender  receiver   value sender_group
0  312345    313452  1022.1       [A, C]
1  320952    327901  4921.0          [C]

对于接收器,过程类似。

扩展

有关扩展列的方法,请参阅this question。此处给出一个示例:

indices = np.repeat(df.index.values, df['sender_group'].str.len())
df = df.loc[indices]\
    .assign(sender_group=np.concatenate(df['sender_group'].values))\
    .reset_index(drop=True)

给出

   sender  receiver   value sender_group
0  312345    313452  1022.1            A
1  312345    313452  1022.1            C
2  320952    327901  4921.0            C

使用的变量:

groups = pd.DataFrame(
    columns=['group', 'component'],
    data=[['A', 31],
          ['A', 322],
          ['A', 323],
          ['B', 321],
          ['B', 327],
          ['B', 33],
          ['C', 31],
          ['C', 32],
          ['C', 33],]
)

df = pd.DataFrame(
    columns=['sender', 'receiver', 'value'],
    data=[[312345, 313452, 1022.1],
          [320952, 327901, 4921.0]]
)