机器学习如何为整体方法/决策树生成决策边界?

时间:2019-04-14 13:40:22

标签: machine-learning random-forest decision-tree

决策树的工作原理是,将遍历从根节点到叶节点的每个节点的训练子集进行拆分,直到获得分类/回归结果为止。

但是如何计算实际的决策边界(权重)?我们使用成本函数在每个节点上执行拆分。这个成本函数还可以帮助我们找到权重吗?

例如,要构建AdaBoost分类器,首先要训练第一个基本分类器(例如决策树),然后将其用于对训练集进行预测。错误分类的训练实例的相对权重随后会增加。使用更新后的权重对第二个分类器进行训练,然后再次对训练集进行预测,权重被更新等等。

相对体重如何计算?

1 个答案:

答案 0 :(得分:0)

在Adaboosting中,相对权重计算如下

首先,给定m个训练实例,每个实例的权重相等为1 / m。

现在,我们在训练后定义第j个预测器/分类器的加权错误率,如下所示:

r(j)= sum(不正确实例的权重)/ sum(所有实例的权重)

现在,我们定义另一个术语,即预测器/分类器的权重,如下所示:

cw(j)=学习率* log((1-r(j))/(rj))

现在,根据每个实例的相对权重,我们按以下方式计算它们,其中i是实例的索引/标识符:

如果w(i)在最后一个预测变量中正确分类,则:

w(i)= w(i)

否则,如果w(i)分类不正确,则:

w(i)= w(i)* exp(cw(j))

如果错误分类的实例小于实例的50%,则会增加权重;如果最后一个预测变量对实例正确的50%进行分类,则会设置r(j)= .5,从而导致cw( j)= 0,错误实例的w(i)为w(i)* 1,这意味着错误实例权重不会发生变化。