计算随机森林中每棵树的每个特征的特征重要性

Question

我使用python库sklearn.ensemble.RandomForestClassifier。 我想知道每个要素对所有树的要素重要性。假设我有P个功能和M树。 我想计算PxM矩阵，其中每个特征的特征重要性都计算到每棵树上。 Here是sklearn的随机森林功能重要性的源代码。在这种方法中，我认为all_importances变量是PxM矩阵。但是如何访问该变量？

谢谢。

Answer 1

您可以使用.estimators_访问各个树，然后调用feature_importances_

这里是一个例子：

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification

X, y = make_classification(n_samples=1000, n_features=4,
                           n_informative=2, n_redundant=0,
                           random_state=0, shuffle=False)
clf = RandomForestClassifier(n_estimators=5, max_depth=2,
                             random_state=0)
clf.fit(X, y)

feature_imp_ = [tree.feature_importances_.T for tree in clf.estimators_]

输出：

[array([0.02057642, 0.96636638, 0.        , 0.01305721]),
 array([0.86128406, 0.        , 0.13871594, 0.        ]),
 array([0.00471007, 0.98648234, 0.        , 0.00880759]),
 array([0.02730208, 0.97269792, 0.        , 0.        ]),
 array([0.65919044, 0.34080956, 0.        , 0.        ])]