将大熊猫DataFrame与地图减少范式连接

Question

我要串联一些pandas DataFrames。当然，我知道如果将我的DataFrames命名为df1和df2，它们的串联将是pd.concat([df1, df2])，但我想使其尽可能地最佳。

想象一下，我有很多要连接在DataFrame中的CSV文件，我可以这样做：

df = pd.DataFrame()
for f in files:
    df_f = pd.read_csv(f)
    df = pd.concat([df, df_f], sort=True)

问题在于解决方案的效率很低，所以我想知道是否有一种方法可以使用map / reduce范式来实现，其中约简操作将是每个DataFrame的串联。

Answer 1

我是通过以下方式得到的：pd.concat(list(map(pd.read_csv, files)))