Pandas在读取大文件时阻塞了python

Question

我正在阅读8G内存MacBook上的5 G文件：pd.read_csv（filepath）。

我看到内存使用量达到12 G（橙色，然后是红色），然后突然内存使用量回落到6G，然后慢慢恢复......而且我的脚本没有提供任何东西，甚至没有退出错误......

会发生什么？好像python完全被阻挡了（呼吸机非常沉默......）

Answer 1

我相信你加载的文件远远超过了你的计算机可以处理的内容。除非您需要一次加载所有数据，否则我会尝试根据您当时需要的数据加载数据，例如，根据特定条件加载数据，然后针对这些细节运行程序。这应该有助于这两件事。首先，您将能够加载数据并运行程序。其次，您的程序运行得更快，因为它一次只处理数据子集。