在一个数据框中创建一列的行作为在另一个数据框中创建一列

时间:2020-01-30 23:55:38

标签: python python-3.x loops dataframe for-loop

我有两个熊猫数据框:

Dataframe 1: 
Id                                    TOTAL_CLAIM_COST
023248db-5e9c-42f3-a9fd-4133bee82844    129.16
b851d7d4-813a-4be2-97b6-f16a347628c6    50.00

Dataframe 2: 
Id                                     CODE
023248db-5e9c-42f3-a9fd-4133bee82844    3
023248db-5e9c-42f3-a9fd-4133bee82844    1
023248db-5e9c-42f3-a9fd-4133bee82844    2

所需的输出:

Dataframe 3: 
Id                                    TOTAL_CLAIM_COST CODE_1  CODE_2  CODE_3
023248db-5e9c-42f3-a9fd-4133bee82844    129.16          3        1       2
b851d7d4-813a-4be2-97b6-f16a347628c6     50.0           NaN      NaN     Nan

我该如何实现?我在数据框1中有5万行,在数据框2中有约1万行。 其次,有没有一种Python方式可以做到这一点而不是循环?

========

玩转之后,我能够使用for循环解决此问题。但是,从性能角度来看,这是非常无效的。有人可以帮助我知道如何用pythonic方式替换解决方案中的for循环吗?

无效的解决方案:

import pandas as pd

data1 = [{'Id': '023248db-5e9c-42f3-a9fd-4133bee82844', 'TOTAL_CLAIM_COST':129.16}, {'Id': 'b851d7d4-813a-4be2-97b6-f16a347628c6', 'TOTAL_CLAIM_COST':50.00}]
df1 = pd.DataFrame(data1)

data2 = [{'Id': '023248db-5e9c-42f3-a9fd-4133bee82844', 'CODE':3}, {'Id': '023248db-5e9c-42f3-a9fd-4133bee82844', 'CODE':1},{'Id': '023248db-5e9c-42f3-a9fd-4133bee82844', 'CODE':2},{'Id': '02eb040d-a1be-4f00-b6cc-eeda3e0b939f', 'CODE':8},{'Id': '02eb040d-a1be-4f00-b6cc-eeda3e0b939f', 'CODE':9}]
df2 = pd.DataFrame(data2)

df2['COUNT'] = df2.groupby('Id')['Id'].transform('count')
num = df2['COUNT'].max()

for i in range(num):
    col_name = 'CODE' + '_' + str(i)
    df3[col_name] = 0

counter = 0
for index, row in df3.iterrows():

    counter = 0

    df4 = df2[df2['Id'] == row['Id']]

    for index2, row2 in df4.iterrows():
        if counter < num:
            col_name = '''''' + 'CODE' + '_' + str(counter) + ''''''
            df3.at[index,col_name] = row2['CODE']
            counter += 1

输出:

sample output

1 个答案:

答案 0 :(得分:0)

这里是到另一个具有多个解决方案的线程的链接。

Pandas - Convert columns to new rows after groupby

这是基于该线程的解决方案(不确定您的解决方案中有70个)。

df=pd.pivot_table(df2,index=['Id'],columns=df2.groupby(['Id']).cumcount().add(1),values=['CODE']).fillna(0)
df.columns=df.columns.map('{0[0]}_{0[1]}'.format) 
final_df = pd.concat([df,df1.set_index('Id')],axis=1).fillna(0).reset_index().rename(columns={'index':"Id"})
print(final_df)

                                        Id  CODE_1  CODE_2  CODE_3  TOTAL_CLAIM_COST
0  023248db-5e9c-42f3-a9fd-4133bee82844    3.0    1.0    2.0            129.16
1  02eb040d-a1be-4f00-b6cc-eeda3e0b939f    8.0    9.0    0.0              0.00
2  b851d7d4-813a-4be2-97b6-f16a347628c6    0.0    0.0    0.0             50.00