Question

我想知道是否可以在Pyhton分类方法中定义要素的重要性/权重？例如：

model = tree.DecisionTreeClassifier(feature_weight = ...)

我已经在RandomForest中看到了一个特性feature_importance，它根据分析显示了特性的重要性。但是是否可以事先定义特征重要性以进行分析？

非常感谢您的提前帮助！

Answer 1

随机森林分类器中的特征重要性确定使用一种特定于森林的随机方法（对特征进行所有二进制测试，并获得附加的分类错误）。

因此，特征重要性是一个与模型的预测能力有关的概念，与训练阶段无关。现在，如果要使模型更喜欢某些功能而不是其他功能，则必须找到一些取决于模型的技巧。

关于sklearn的{{1}}，这种技巧似乎并不简单。如果您知道某些类别可以通过您希望使用的某些功能更容易预测，则可以自定义类别权重；但这看起来很脏。

在其他类型的模型（例如使用内核的模型）中，通过设置与要素直接相关的超参数，您可以更轻松地做到这一点。

如果您想限制过度拟合，我也只是建议您删除那些不那么重要的功能。