Question

我正在使用以下代码

从sklearn库中保存RandomForestClassifier模型

with open('/tmp/rf.model', 'wb') as f:
    cPickle.dump(RF_model, f)

我的硬盘需要很大的空间。模型中只有50棵树，但它在磁盘上占用超过50 MB（分析的数据集大约为20MB，具有21个功能）。有人知道为什么吗？我观察到ExtraTreesClassifier的类似行为。

编辑：射频参数：

"n_estimators": 50,
"max_features": 0.2,
"min_samples_split": 20,
"criterion": "gini",
"min_samples_leaf": 11

正如@dooms所建议我检查了sys.getsizeof并返回64 - 我认为这只是指针大小。

我尝试了其他方式来保存模型：

from sklearn.externals import joblib
joblib.dump(RF_model, 'filename.pkl')

通过使用这种方式，我得到1 * .pkl文件和201 * .npy文件，总大小为14.9 MB，因此小于之前的53 MB。这些201 npy文件中有一个模式 - Forest中每个树有4个文件：

第一个文件（231 KB）内容：

array([(1, 1062, 20, 0.2557438611984253, 0.4997574055554296, 29168, 46216.0),
       (2, 581, 12, 0.5557271242141724, 0.49938159451291675, 7506, 11971.0),
       (3, 6, 14, 0.006186043843626976, 0.4953095968671224, 4060, 6422.0),
       ...,
       (4123, 4124, 15, 0.6142271757125854, 0.4152249134948097, 31, 51.0),
       (-1, -1, -2, -2.0, 0.495, 11, 20.0),
       (-1, -1, -2, -2.0, 0.3121748178980229, 20, 31.0)], 
      dtype=[('left_child', '<i8'), ('right_child', '<i8'), ('feature', '<i8'), ('threshold', '<f8'), ('impurity', '<f8'), ('n_node_samples', '<i8'), ('weighted_n_node_samples', '<f8')])

第二个文件（66 kB）内容：

array([[[  2.25990000e+04,   2.36170000e+04]],

       [[  6.19600000e+03,   5.77500000e+03]],

       [[  3.52200000e+03,   2.90000000e+03]],

       ..., 
       [[  3.60000000e+01,   1.50000000e+01]],

       [[  1.10000000e+01,   9.00000000e+00]],

       [[  2.50000000e+01,   6.00000000e+00]]])

第三个文件（88B）：

array([2])

组（96B）中的最后一个文件：

array([ 0.,  1.])

任何想法是什么？我试着在sklearn中查看Tree代码，但这很难。任何想法如何保存sklearn树，它存储更少的磁盘？（只是指出xgboost类似大小的整体占用了大约200KB）

Answer 1

我已经看到使用pickle转储的相同行为。转储大约是size in memory的10倍。

from sys import getsizeof
memory_size = getsizeof(RF_model)

查看是否存在巨大差异，如果是这种情况，请参阅another way以保存您的模型。

为什么sklearn RandomForest模型在保存后占用了大量磁盘空间？

1 个答案: