分类数据帧上的pandas.concat需要太多内存

Question

我有两个数据框，df1＆amp; df2，每个5GB +，每个都是绝对的。这些类别有一些重叠，而每个类别都有一些额外的类别。

当我执行pd.concat([df1, df2])或df1.append(df2)时，内存会在64GB机器上爆炸。

有没有办法减少内存消耗？我希望看到它使用大约10GB内存，交易时间会很好。