Question

我有2个数据帧left_df和right-df，它们都有20个具有相同名称和dtypes的列。 right_df还有两列，每行都有唯一的值。

我想用right_df中的所有值更新left_df中的行，其中在两个数据帧中，列子集matching_cols = ['col_1', 'col_3', 'col_10', 'col_12']的列表中ALL列中的值都相同。 right_df中另外2个唯一列中的值应保留。

理想情况下，我也想将left_df中的那些行放在同一命令中，或者如果不可能的话，作为下一个命令。我需要多次执行此过程，在几个不同的列列表上进行匹配，left_df在每个循环中删除匹配的行，直到最终找不到进一步的匹配。

可接受的替代方法是创建新数据框new_df的任何方法，该数据框包含列表matching_cols中所有指定列均匹配的行集，第一个值来自left_df其余2列中有20列和right_df中的值。

我不在乎在任何一个数据帧中的任何地方都保留索引，我将其导入到SQL之后，并将最后在两个right_df值之一上对其重新索引。

Pandas的新手，无法确定使用哪种方法，尝试了.merge，.join，.update等的变体，但似乎无法指定仅更新当我所需的列值全部匹配时，或者如何删除这些行/将其导出到新的df中。

更新：在下面添加了伪代码：

对于left_df为：

left_df = pd.DataFrame({
   'col_0': ['0', '1', '2', '3', '4', '5'],
   'col_1': ['A', 'B', 'C', 'D', 'E', 'F'],
   'col_2': ['new', 'new', 'new', 'new', 'new', 'new'],
   'col_3': ['new', 'new', 'new', 'new', 'new', 'new'],
   'col_4': ['new', 'new', 'new', 'new', 'new', 'new'],
   'col_5': ['new', 'new', 'new', 'new', 'new', 'new'],
   'col_6': ['new', 'new', 'new', 'new', 'new', 'new'],
   'col_7': ['new', 'new', 'new', 'new', 'new', 'new'],                
  })

和一个right_df为：

right_df = pd.DataFrame({
   'col_0': ['0', '1', '2', '3', '4', '5'],
   'col_1': ['A', 'B', 'C', 'X', 'E', 'F'],
   'col_2': ['old', 'old', 'old', 'old', 'old', 'old'],
   'col_3': ['old', 'old', 'old', 'old', 'old', 'old'],
   'col_4': ['old', 'old', 'old', 'old', 'old', 'old'],
   'col_5': ['old', 'old', 'old', 'old', 'old', 'old'],
   'col_6': ['old', 'old', 'old', 'old', 'old', 'old'],
   'col_7': ['old', 'old', 'old', 'old', 'old', 'old'],
   'col_8': ['uid_0', 'uid_1', 'uid_2', 'uid_3', 'uid_4', 'uid_5'],
   'col_9': ['uid_a', 'uid_b', 'uid_c', 'uid_d', 'uid_e', 'uid_f'],                
  })

matching_cols = ['col_0', 'col_1']

我想获得以下结果，无论是作为新数据框还是在right_df上就位（请注意，col_1在第3行上不匹配，因此不会更改）

  col_0 col_1 col_2 col_3 col_4 col_5 col_6 col_7  col_8  col_9
0     0     A   new   new   new   new   new   new  uid_0  uid_a
1     1     B   new   new   new   new   new   new  uid_1  uid_b
2     2     C   new   new   new   new   new   new  uid_2  uid_c
3     3     X   old   old   old   old   old   old  uid_3  uid_d
4     4     E   new   new   new   new   new   new  uid_4  uid_e
5     5     F   new   new   new   new   new   new  uid_5  uid_f

Answer 1

尝试一下

new_df=pd.concat([left_df,right_df.iloc[:,-1:-3]],axis=1)

Answer 2

借助this post和Pandas文档来解决：

首先，这是我需要的.merge，对于仅要从'_r'复制的列/我要更新的旧值，我将后缀指定为right_df。

merged_df = pd.merge(left_df, right_df, on=['col_0', 'col_1'], suffixes=(None, '_r'))

这将产生一个新的数据框，其中的行包含新列和旧列，仅适用于on=['col_0', 'col_1']列中的值匹配的每个数据框中的行。然后，通过在文本'_r'上使用正则表达式过滤器来删除“旧”列：

merged_df.drop(list(merged_df.filter(regex = '_r')), axis=1, inplace=True)

这将产生一个仅包含“已修改”行而没有未修改行的数据框，该数据框足够接近我的需要。

  col_0 col_1 col_2 col_3 col_4 col_5 col_6 col_7  col_8  col_9
0     0     A   new   new   new   new   new   new  uid_0  uid_a
1     1     B   new   new   new   new   new   new  uid_1  uid_b
2     2     C   new   new   new   new   new   new  uid_2  uid_c
3     4     E   new   new   new   new   new   new  uid_4  uid_e
4     5     F   new   new   new   new   new   new  uid_5  uid_f

熊猫-根据多个匹配的列值更新/合并2个数据框

2 个答案: