Blaza和Pandas的大数据

Question

我想知道这种方法对于项目是否过度。 我有一个4GB的文件，显然我的电脑无法处理。使用Blaze将文件拆分为更易于管理的文件大小并使用Pandas打开并使用Bokeh进行可视化会是一种过度杀伤吗？

我知道Pandas有一个“块”功能，但我想拆分它们的原因是因为我需要分析与特定名称相关的特定行。

您是否会采用不同的方法来解决我的笔记本电脑崩溃并且不需要设置Hadoop或任何AWS服务？

Answer 1

与pd.read_csv(..., chunksize=...)分块的熊猫效果很好。

或者dask.dataframe模仿Pandas界面并为您处理分块。