Question

根据我对左外连接的理解，生成的表应该永远不会有比左表更多的行...如果这是错误的请告诉我...

我的左表是192572行和8列。

我的右表是42160行和5列。

我的左表有一个名为＆＃39; id＆＃39;它与右表中的一列匹配，名为＆＃39; key＆＃39;。

因此我将它们合并为：

combined = pd.merge(a,b,how='left',left_on='id',right_on='key')

但结合的形状是236569。

我误解了什么？

Answer 1

如果键与另一个DataFrame中的多行匹配，则可能会增加此值：

In [11]: df = pd.DataFrame([[1, 3], [2, 4]], columns=['A', 'B'])

In [12]: df2 = pd.DataFrame([[1, 5], [1, 6]], columns=['A', 'C'])

In [13]: df.merge(df2, how='left')  # merges on columns A
Out[13]: 
   A  B   C
0  1  3   5
1  1  3   6
2  2  4 NaN

要避免df2中的此行为drop the duplicates：

In [21]: df2.drop_duplicates(subset=['A'])  # you can use take_last=True
Out[21]: 
   A  C
0  1  5

In [22]: df.merge(df2.drop_duplicates(subset=['A']), how='left')
Out[22]: 
   A  B   C
0  1  3   5
1  2  4 NaN

Answer 2

还有一些策略可用于避免此行为，如果不是所有列都重复，则不会丢失重复数据。如果你有

In [1]: df = pd.DataFrame([[1, 3], [2, 4]], columns=['A', 'B'])

In [2]: df2 = pd.DataFrame([[1, 5], [1, 6]], columns=['A', 'C'])

一种方法是取副本的平均值（也可以取总和等......）

In [3]: df3 = df2.groupby('A').mean().reset_index()

In [4]: df3
Out[4]: 
     C
A     
1  5.5

In [5]: merged = pd.merge(df,df3,on=['A'], how='outer')

In [6]: merged
Out[204]: 
   A  B    C
0  1  3  5.5
1  2  4  NaN

或者，如果您有使用pd.to_numeric（）无法转换的非数字数据，或者您只是不想取均值，则可以通过枚举重复项来更改合并变量。但是，当两个数据集中存在重复项时，此策略将适用（这会导致相同的问题行为并且也是常见问题）：

In [7]: df = pd.DataFrame([['a', 3], ['b', 4],['b',0]], columns=['A', 'B'])

In [8]: df2 = pd.DataFrame([['a', 3], ['b', 8],['b',5]], columns=['A', 'C'])

In [9]: df['count'] = df.groupby('A')['B'].cumcount()

In [10]: df['A'] = np.where(df['count']>0,df['A']+df['count'].astype(str),df['A'].astype(str))

In[11]: df
Out[11]: 
    A  B  count
0   a  3      0
1   b  4      0
2  b1  0      1

对df2执行相同操作，删除df和df2中的计数变量并合并'A'：

In [16]: merged
Out[16]: 
    A  B  C
0   a  3  3        
1   b  4  8        
2  b1  0  5

一些笔记。在最后一种情况下，我使用.cumcount（）而不是.duplicated，因为对于给定的观察，您可能会有多个副本。此外，我使用.astype（str）将计数值转换为字符串，因为我使用np.where（）命令，但使用pd.concat（）或其他可能允许不同的应用程序。

最后，如果只有一个数据集具有重复项，但您仍希望保留它们，则可以使用后一策略的前半部分来区分生成的合并中的重复项。

Answer 3

给定答案的一个小补充是，有一个名为validate的参数，如果在右表中匹配重复的ID，则可以使用该参数引发错误：

combined = pd.merge(a,b,how='left',left_on='id',right_on='key', validate = 'm:1')

Answer 4

使用 drop_duplicates 在您的情况下将是：

merged = pd.merge(df,df3,on=['A'], how='outer').drop_duplicates()

Pandas Left Outer Join导致表格大于左表格

4 个答案: