使用Adaboost选择要素矢量中的最佳要素

Question

我已经阅读了一些关于Adaboost如何运作的文档，但对此有一些疑问。

我还读到，除了加权弱分类器之外，Adaboost还从数据中选择最佳功能，并在测试阶段使用它们来有效地执行分类。

Adaboost如何从数据中选择最佳功能？

如果我对 Adaboost 的理解错误，请纠正我！

Answer 1

在某些情况下，Adaboost中的弱分类器（几乎）等于特征。换句话说，使用单个特征进行分类可以比随机性能略好，因此可以用作弱分类器。 Adaboost将根据训练数据找到最佳弱分类器集，因此如果弱分类器等于特征，那么您将获得最有用的特征的指示。

类似于特征的弱分类器的示例是decision stumps。

Answer 2

好的，adaboost根据其基本学习者树选择功能。对于单个树，有几种方法可以估算单个特征对树的贡献程度，在某处称为相对重要性。对于adaboosting，包含几个这样的树的ensamble方法，每个特征对最终模型的相对重要性可以通过测量每个特征对每个树的重要性然后对其进行平均来计算。

希望这可以帮到你。