如何处理大型Python pandas数据帧

时间:2015-09-25 09:13:14

标签: python pandas

我有一个从600MB文本syslog文件中读取的大型数据帧(1.6m行x20列)。我通过chunk读取chunk并且可以将整个数据集整理成数据帧。

但我不能对数据帧做简单的总结,它只是永远挂起。

我是否需要拆分和处理数据框?因为我觉得pandas数据帧非常有效,可以毫不费力地做到这一点。

0 个答案:

没有答案