处理超过10K文件时,Python 3内存消耗激增

时间:2017-10-28 16:26:07

标签: text

问候语

我正在编写一个处理28K JSON文本文件的python 3代码。每个文件是3K字节并被打开处理(逐行读取)然后成功停止。 代码运行正常,Windows任务管理器显示的内存消耗小于0.5 GB。

突然之间,内存消耗急剧增加并开始增长,直到代码消耗31 GB的32 GB物理内存,这发生在代码完成处理我的HD上的28K物理文件中的10K时。

这是非常令人费解的,我想知道这种突然的内存消耗的解释是什么,为什么内存峰值发生在10K以上的文件上。

非常感谢任何反馈..

0 个答案:

没有答案