我正在尝试实现AdaBoost算法,并且有两个问题。
1)在每次迭代时,必须根据概率分布对训练数据进行重新采样。重新采样数据集的大小是否应与原始数据集的大小相同。 2)如果我根据概率分布重新采样训练数据集,很可能我可以获得单个数据点的多个副本。我应该在每次迭代训练弱分类器的同时保留所有这些冗余副本。
答案 0 :(得分:3)
1)您不需要实际重新采样数据集,只需权衡分类器训练中的数据点,即弱分类器的目标函数应该加权。
如果数据集的大小足够大,您也可以使用抽样,并且您采样的数据集的大小无关紧要本身。
2)如果您确实使用了采样并获得了冗余副本,那么您肯定应该保留它们,否则弱分类器的目标函数不是正确的。