在Python中使用joblib打开大型保存的模型会导致内存错误

Question

我用以下代码保存了一个随机森林模型（在RandomizedCVsearch之后）：

import joblib
joblib_file = "joblib_RF_Model.pkl"  
joblib.dump(best_model, joblib_file)

文件超过18GB，然后我尝试加载模型：

infile = open('joblib_RF_Model.pkl','rb')
new_dict = joblib.load(infile)
infile.close()

它给了我一个内存错误，或者Jupyter完全崩溃，说无法分配更多的内存。 有没有一种方法可以保存模型，也许可以依次加载.pkl文件以节省内存空间？ 还是有更好的方法来保存大型模型？