n个弱分类器组合的精度极限

时间:2019-07-16 03:26:17

标签: math machine-learning

对于数据集D(n * m),n是样本数,m是特征数。 有k个弱分类器,每个分类器的准确性为60%。 多少个弱分类器组合可以将准确性提高到90%? 这个问题可以用数学公式解决吗?

如果使用2个分类器,则准确性为60% 如果使用3个分类器,则准确性为64.8%(3 * 60%^ 2 * 40%+ 60%^ 3) 是吗?

1 个答案:

答案 0 :(得分:0)

您的问题背后的想法很完整。 当您选择的每个模型对于单个类都表现良好时,这可以起作用。因此,您可以根据类别为每个类别分配权重,并生成最终输出。

例如, 你有3个班级(C1,C2,C3)

让模型A预测C1很好,那么您可以将C1的最终概率设置为

prob_of_C1 = model_A_prob * 0.7 + model_B_prob * 0.2 + model_C_prob * 0.1

类似地,您可以将相同的规则应用于其他类。您可能必须更改分配的权重,这通常是基于该特定类的每个模型的精度来完成的。仅当您对不同的类执行不同的模型时,这才有效。

如果您想了解更多信息,可以查看 xgboost算法,此博客很好地解释了https://towardsdatascience.com/https-medium-com-vishalmorde-xgboost-algorithm-long-she-may-rein-edd9f99be63d