我正在制作 1000个模型,每个模型都预测不同分支的销售额。
我反复使用pd.to_csv
覆盖预测结果,如下所示,发现内存使用量急剧增加了约10GB,我怀疑pd.to_csv
可能会导致这种低效的内存使用:
# run_model() function repeatedly yield the result
# of forecast DataFrame of one branch.
# and I append it to previous one
# to aggregate them as one csv file.
predict = pd.DataFrame()
for yield_forecast_df in run_model(Data):
predict = predict.append(yield_forecast_df, ignore_index=True)
predict.to_csv('forecast_for_all_branch.csv', index=False)
我简化了代码。
如果pd.to_csv
与大量的内存使用无关,我怀疑auto_arima
可能会导致此问题,因为我是通过auto_arima
进行建模的。
您能给我一些有关内存使用量急剧增加的原因的建议吗?