pd.to_csv会导致内存泄漏吗?使用它并覆盖csv几百次会消耗10G内存

时间:2019-05-23 23:20:54

标签: python dataframe memory-management memory-leaks

我正在制作 1000个模型,每个模型都预测不同分支的销售额。

我反复使用pd.to_csv覆盖预测结果,如下所示,发现内存使用量急剧增加了约10GB,我怀疑pd.to_csv可能会导致这种低效的内存使用:

# run_model() function repeatedly yield the result 
# of forecast DataFrame of one branch.
# and I append it to previous one 
# to aggregate them as one csv file.

predict = pd.DataFrame() 
for yield_forecast_df in run_model(Data):
    predict = predict.append(yield_forecast_df, ignore_index=True)
    predict.to_csv('forecast_for_all_branch.csv', index=False)

我简化了代码。

如果pd.to_csv与大量的内存使用无关,我怀疑auto_arima可能会导致此问题,因为我是通过auto_arima进行建模的。

您能给我一些有关内存使用量急剧增加的原因的建议吗?

0 个答案:

没有答案