我有几个类似结构的pandas数据帧存储在字典中。我以下列方式访问数据框。
ex_dict[df1]
date df1price1 df1price2
10-20-2015 100 150
10-21-2015 90 100
我希望按日期将所有这些数据帧合并到一个数据框中。日期重叠,但并非所有数据框都包含所有日期。
我需要从这个
开始df1
date df1price1 df1price2
10-20-2015 100 150
10-21-2015 90 100
10-22-2015 100 140
df2
date df2price1 df2price2
10-20-2015 110 140
10-21-2015 90 110
10-23-2015 110 120
df3
date df3price1 df3price2
10-20-2015 100 150
10-22-2015 90 100
10-23-2015 80 130
到此:
df_all
date df1price1 df1price2 ... df3price1 df3price2
10-20-2015 100 150 ... 100 150
10-21-2015 90 100 ... NaN NaN
10-22-2015 100 140 ... 90 100
10-23-2015 NaN NaN ... 80 130
我已经尝试了很多东西,但是我无法让它工作,不能一次重复合并2来创建一个新的数据帧,然后再重新融入其中。我需要合并的数据帧数量在4到10之间,所以我需要一种自动执行此操作的方法(因此我认为传递dict可能有效)。
对此的任何帮助都会非常感激。
答案 0 :(得分:1)
您可以使用concat
后跟groupby('date')
来展平结果。
In [22]: pd.concat([df1,df2,df3]).groupby('date').max()
Out[22]:
df1price1 df1price2 df2price1 df2price2 df3price1 df3price2
date
10-20-2015 100 150 110 140 100 150
10-21-2015 90 100 90 110 NaN NaN
10-22-2015 100 140 NaN NaN 90 100
10-23-2015 NaN NaN 110 120 80 130
修改:正如BrenBarn在评论中指出的那样,如果您将连接列设置为数据框的索引,则可以使用concat(axis=1)
:
df1.index = df1.date
df2.index = df2.date
df3.index = df3.date
In [44]: pd.concat([df1,df2,df3],axis=1)
Out[44]:
date df1price1 df1price2 date df2price1 \
10-20-2015 10-20-2015 100 150 10-20-2015 110
10-21-2015 10-21-2015 90 100 10-21-2015 90
10-22-2015 10-22-2015 100 140 NaN NaN
10-23-2015 NaN NaN NaN 10-23-2015 110
df2price2 date df3price1 df3price2
10-20-2015 140 10-20-2015 100 150
10-21-2015 110 NaN NaN NaN
10-22-2015 NaN 10-22-2015 90 100
10-23-2015 120 10-23-2015 80 130
答案 1 :(得分:0)
您可以在date
列上使用多个合并:
df1.merge(df2, on='date', how='outer').merge(df3, on='date', how='outer').set_index('date')
In [107]: df1.merge(df2, on='date', how='outer').merge(df3, on='date', how='outer').set_index('date')
Out[107]:
df1price1 df1price2 df2price1 df2price2 df3price1 df3price2
date
10-20-2015 100 150 110 140 100 150
10-21-2015 90 100 90 110 NaN NaN
10-22-2015 100 140 NaN NaN 90 100
10-23-2015 NaN NaN 110 120 80 130
一些解释:首先,您要将df1
和df2
合并到date
列并加入outer
。与df3
合并的结果数据框具有相同的属性。并为您的结果日期框架设置索引date
。如果您的数据框有date
列作为索引,您可以先为每个列reset_index
执行date
并合并包含[UIColor colorWithWhite: 0.70 alpha:1];