整体分类器能否表现不及最佳单一分类器?

时间:2018-06-20 15:21:19

标签: r ensemble-learning mlr

我最近在多中心数据集的MLR(R)中运行了集成分类器。我注意到,三个分类器(在不同的数据模态上受过训练)的集合比最佳分类器差。 这对我来说似乎是意外的。我将逻辑回归(不进行任何参数优化)用作简单分类器,并将偏最小二乘(PLS)判别分析用作超级学习者,因为基本学习者的预测应该相关。我还测试了NB和逻辑回归等不同的超级学习者。结果没有改变。

这是我的具体问题:

1)您知道吗,原则上是否可以发生? (我也用Google搜索了一下,发现这个博客似乎表明它可以: https://blogs.sas.com/content/sgf/2017/03/10/are-ensemble-classifiers-always-better-than-single-classifiers/

2)特别是,如果您像我一样感到惊讶,您是否知道我可以在mlr中进行任何检查以确保没有错误。我尝试使用不同的交叉验证方案(最初我使用的是“离开中心”的简历,但是由于某些中心提供的数据很少,因此我不确定这是否会导致超级学习者的模型拟合变得很奇怪),但是它仍然成立。我还尝试结合不同的数据模式,它们给了我相同的现象。

很高兴听到您是否经历过此事,是否经历过此事,是否知道可能会出什么问题。

谢谢!

1 个答案:

答案 0 :(得分:0)

是的,这种情况可能发生-乐团并不总是保证效果更好。 this cross-validate question

中还讨论了有关可能发生这种情况的更多详细信息