Pandas：计算生成数据透视表需要多少RAM？

Question

我在熊猫中有3亿行和3列 我想将其转换为宽格式。 我估计总的记忆力了 当前的长格式为9.6 GB。 我做到了这一点 每个“单元”300,000,000 * 3 * 8字节。

我想转换为宽格式 190万行* 1000列。

我估计它应该需要15.2 GB。

当我转向时，内存使用量达到64gb（Linux资源监视器），交换使用到30gb然后 ipython内核死了，我假设是与内存相关的死亡。

我是否正确在生成数据透视表期间，RAM的使用率会超过我桌面的64 GB RAM？为什么生成数据透视表超过系统RAM？

Answer 1

如果您正在使用DataFrame.pivot_table（），请尝试使用DataFrame.pivot（），它具有更小的内存消耗并且也更快。 只有当您没有使用自定义聚合函数构建数据透视表并且您正在旋转的列的元组没有冗余组合时，才能使用此解决方案。