将具有相同列/索引的两个pandas DataFrame连接到一个DataFrame中

时间:2017-04-06 19:56:19

标签: json mongodb pandas

我试图将多个pandas.DataFrame连续保存在一个集合中的mongodb中,所有数据帧都具有相同的索引/列,我想保存它,只是一个文档,使用to_json()方法。将数据帧的所有单元格作为dicts,它可能是一个很好的方法。为了实现这一点,我想连接这样的数据帧:

df1:                
 index   A      B
 1     'A1'   'B1'
 2     'A2'   'B2'
 3     'A3'   'B3'

df2:
 index  A      B
 1    'a1'   'b1'
 2    'a2'   'b2'
 3    'a3'   'b3'

预期解决方案:

df_sol:
 index    A                    B
 1        {d1:'A1', d2:'a1'}   {d1:'B1', d2:'b1'}
 2        {d1:'A2', d2:'a2'}   {d1:'B2', d2:'b2'}
 3        {d1:'A3', d2:'a3'}   {d1:'B3', d2:'b3'}

有没有办法在不使用迭代器的情况下实现这一目标?任何指导都会受到欢迎!谢谢!

2 个答案:

答案 0 :(得分:3)

pd.Panelapply + pd.Series.to_dict

一起使用
pd.Panel(dict(d1=df1, d2=df2)).apply(pd.Series.to_dict, 0)

                              A                         B
index                                                    
1      {'d1': 'A1', 'd2': 'a1'}  {'d1': 'B1', 'd2': 'b1'}
2      {'d1': 'A2', 'd2': 'a2'}  {'d1': 'B2', 'd2': 'b2'}
3      {'d1': 'A3', 'd2': 'a3'}  {'d1': 'B3', 'd2': 'b3'}

这假设您标记为index的列实际上是索引。否则,请确保它们是:

df1 = df1.set_index('index')
df2 = df2.set_index('index')

答案 1 :(得分:1)

让我们试试这段代码:

df1 = df1.set_index('index')
df2 = df2.set_index('index')

df_int = pd.merge(df1,df2,left_index=True, right_index=True,suffixes=('_d1','_d2'))

A_dict = df_int[['A_d1','A_d2']].rename(columns={'A_d1':'d1','A_d2':'d2'}).to_dict(orient='records')
B_dict = df_int[['B_d1','B_d2']].rename(columns={'B_d1':'d1','B_d2':'d2'}).to_dict(orient='records')

df_sol = pd.DataFrame({'A':A_dict,'B':B_dict})

df_sol

输出:

                          A                         B
0  {'d1': 'A1', 'd2': 'a1'}  {'d1': 'B1', 'd2': 'b1'}
1  {'d1': 'A2', 'd2': 'a2'}  {'d1': 'B2', 'd2': 'b2'}
2  {'d1': 'A3', 'd2': 'a3'}  {'d1': 'B3', 'd2': 'b3'}