我有一个循环,每次创建一个具有形式的dataframe(DF)
DF
ID LCAR RCAR ... LPCA1 LPCA2 RPCA2
0 d0129 312.255859 397.216797 ... 1.098888 1.101905 1.152332
,然后使用以下格式将该数据框添加到现有数据框(main_exl_df):
main_exl_df
ID Date ... COGOTH3 COGOTH3X COGOTH3F
0 d0129 NaN ... NaN NaN NaN
1 d0757 NaN ... 0.0 NaN NaN
2 d2430 NaN ... NaN NaN NaN
3 d3132 NaN ... 0.0 NaN NaN
4 d0371 NaN ... 0.0 NaN NaN
... ... ... ... ... ... ...
2163 d0620 NaN ... 0.0 NaN NaN
2164 d2410 NaN ... 0.0 NaN NaN
2165 d0752 NaN ... NaN NaN NaN
2166 d0407 NaN ... 0.0 NaN NaN
每次迭代时都会保存main_exl_df,然后再次加载以进行下一次迭代。
我尝试过
main_exl_df = pd.concat([main_exl_df, DF], axis=1)
但是这每次都将列添加到main_exl_df的右侧,并且如果ID为'ID'行则无法识别索引。
如何指定要在具有正确ID和右列的行上添加新的dataframe(DF)?
答案 0 :(得分:2)
在这种情况下,合并是合并列的一种方法。使用pd.merge时,需要指定合并是内部,左侧还是右侧。假设在这种情况下,您要将所有行保留在main_exl_df中,则应使用以下命令进行合并:
main_exl_df = main_exl_df.merge(DF, how='left', on='ID')
如果要保留两个数据框中的行,请使用outer
作为参数值:
main_exl_df = main_exl_df.merge(DF, how='outer', on='ID')
答案 1 :(得分:1)
这是最后解决问题的方法(借助this answer):
我使用了合并功能,但是使用_x和_y后缀合并了创建的重复列。为了摆脱_x后缀,我使用了以下功能:
def drop_x(df):
# list comprehension of the cols that end with '_x'
to_drop = [x for x in df if x.endswith('_x')]
df.drop(to_drop, axis=1, inplace=True)
,然后合并两个数据帧,同时用空字符串替换_y后缀:
col_to_use = DF.columns.drop_duplicates(main_exl_df)
main_exl_df = main_exl_df.merge(DF[col_to_use], on='ID', how='outer', suffixes=('_x', ''))
drop_x(main_exl_df)