在多个熊猫数据框上的数据透视表

Question

我将大数据分成5个数据帧，但行数完全相同。 只是想知道，如果有任何有效的方法来合并数据透视表 并且并行处理它们。

想要做的流程是：

df1 --> df1_pivot   ---> Merge(df1_pivot, df2_pivot) ---> df1_df2_pivot
df1 --> df2_pivot

目标是并行处理数据框并合并它们。 （使用多处理）。

编辑：Pivot可以是多索引，就像这样。

pd.pivot_table(df1, index= ['col4', 'col3' ], columns=[ 'col1', 'col2' ],  
                          values='val_tosum', aggfunc='sum' )

Answer 1

使用pd.concat

pd.concat([df1, df2, df3, df4, df5], axis=1)