弱分类器

时间:2012-08-23 17:33:22

标签: machine-learning artificial-intelligence classification adaboost

我正在尝试使用AdaBoost算法实现一个应用程序。我知道AdaBoost使用了一组弱分类器,但我不知道这些弱分类器是什么。你能用一个例子向我解释一下,告诉我是否必须创建自己的弱分类器,或者我是否想要使用某种算法?

2 个答案:

答案 0 :(得分:20)

Weak classifiers(或弱学习者)是仅比随机分类器稍微好一点的分类器。因此,这些分类器对如何预测正确的标签有一定的线索,但不像强大的分类器那样,例如Naive Bayes,Neurel Networks或SVM。

最简单的弱分类器之一是Decision Stump,它是一级决策树。它为一个功能选择一个阈值,并在该阈值上分割数据。然后,AdaBoost将训练这些决策树桩的军队,每个决策树桩都集中在数据特征的一部分上。

答案 1 :(得分:9)

当我使用AdaBoost时,我的弱分类器基本上是每个数据属性的阈值。这些阈值需要具有超过50%的性能,否则它将是完全随机的。

以下是关于Adaboost以及如何计算这些弱分类器的精彩演示: http://www.cse.cuhk.edu.hk/~lyu/seminar/07spring/Hongbo.ppt