在同一个pandas数据帧中合并两列

时间:2017-12-01 17:17:27

标签: python pandas dataframe merge

我有一个包含多对列的数据框,必须合并。列包含互斥数据。也就是说,如果列A中有值,则列B中该行的值将为空。

df = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],
               'A': ['A0', '', 'A2', ''],
               'B': ['', 'B1', '', 'B3'],
               'C': ['C1','C2','',''],
               'D': ['','','D3','D4']})

所以我有这样的事情:

    A   B   C   D key
0  A0      C1      K0
1      B1  C2      K1
2  A2          D3  K2
3      B3      D4  K3

我想合并A列和B列,因此所有值都在A列中结束。我还想在C和D中执行此操作,同时保持索引和任何其他列(如Key)不变。我在多个步骤中做得很好。我不需要同时进行A-B合并和C-D合并。理想情况下,我最终会:

    A   C key
0  A0  C1  K0
1  B1  C2  K1
2  A2  D3  K2
3  B3  D4  K3

我已经尝试了df = df.A.combine_first(df.B),但这让我无处可去。

2 个答案:

答案 0 :(得分:3)

以下是使用zip匹配每两列的解决方案

li = zip(df.columns[0::2],df.columns[1::2])
#[('A', 'B'), ('C', 'D')] 
# I assume columns are pairs and end up with lenght as odd number with additional column.
# If you want to ignore last column manually you can use 
# li = zip(df.columns[0:-1:2],df.columns[1:-1:2]) # slice `start:end:step`

temp = pd.DataFrame({i :df[i]+df[j] for i,j in li})

ndf = pd.concat([temp,df['key']],1)

#    A   C key
# 0  A0  C1  K0
# 1  B1  C2  K1
# 2  A2  D3  K2
# 3  B3  D4  K3

答案 1 :(得分:2)

如果你没有先将空字符串转换为NaN,你可以尝试使用Series.fillna做类似的事情:

import numpy as np

df = df.replace('', np.nan)

df.A = df.A.fillna(df.B)
df.C = df.C.fillna(df.D)

给出:

df

    A    B   C    D key
0  A0  NaN  C1  NaN  K0
1  B1   B1  C2  NaN  K1
2  A2  NaN  D3   D3  K2
3  B3   B3  D4   D4  K3

将使用列B中的缺失值填充A列中的缺失值,然后将结果序列设置为df中的A列。我们可以通过使用循环来扩展这个关于多列的情况的想法:

l_cols = df.columns[0::2]  # Left columns in the pairs
r_cols = df.columns[1::2]  # Right columns in the pairs  

# Go through each pair
for l, r in zip(l_cols, r_cols):
    df[l] = df[r].fillna(df[r])

可以使用以下方法从输出中排除用于合并的列:

df = df.drop(r_cols, axis=1)