pandas中包含许多对象列的大型数据帧

Question

我在拥有40 GB内存的计算机上使用2.6 gig数据文件。我认为我有足够的内存来处理pandas中的数据，但当我做一些简单的操作时，我会用尽内存。

我能想到的是，问题在于数据的性质。

• 尺寸：634350 x 697
• 对象类型的列数：467
• 最大列宽：31072个字符
• 平均列宽：100个字符

我的问题是由于对象类型效率太低而产生的吗？