考虑三个具有相同错误概率的相互独立的分类器A,B,C:

时间:2019-02-06 22:36:24

标签: machine-learning probability ensemble-learning

这是问题所在:

  

考虑三个相互独立的分类器,A,B,C,它们的错误概率相等:

     

Pr(errA)= Pr(errB)= Pr(errC)= t

     

让D成为另一个获得A,B和C多数票的分类器。

     

•什么是Pr(errD)?

     

•绘制Pr(errD)作为t的函数。

     

•对于t的哪个值,D的性能优于其他三个分类器中的任何一个?



我的问题是:

(1)我不知道D的错误概率。我以为是1减去alpha(1-α),但我不确定。

(2)如何绘制t(Pr(errD))?我假设没有找到Pr(errD),然后就可以绘制它。

(3)在这里,我也无法弄清楚。比较而言,我应该如何确定D的性能?

1 个答案:

答案 0 :(得分:1)

如果我很好理解,您的问题可以用简单的术语来表达,而无需任何整体学习。

鉴于D是3个分类器投票的结果,D是错误的,当且仅当其中一个估计量是正确的。

A,B,C是独立的,所以:

  • 不正确的概率为t ^ 3

  • 一个人正确而另一两个人错误的概率为3(1-t)t ^ 2(因数3是因为有三种实现方法)

所以P(errD)= t ^ 3 + 3(1-t)t ^ 2 = -2t ^ 3 + 3t ^ 2

您应该能够在[0:1]区间中将其作为t的函数进行绘制,而不会遇到太多困难。

关于第三个问题,只需解决P(errA)-P(errD)> 0(这意味着D的错误概率小于A的错误概率,因此它的性能更好)。如果解决了此问题,则应发现条件为t <0.5。

要回到整体学习中,请注意,通常不会在实践中验证估计器之间的独立性。