xgboost，extratreeclassifier和randomforrestclasiffier有什么区别？

Question

我是所有这些方法的新手，我试图得到一个简单的答案，或者如果有人可以指导我在网上的某个地方进行高级别的解释。我的谷歌搜索只返回了kaggle示例代码。

extratree和randomforrest基本相同吗？ xgboost在为任何特定树选择特征时使用增强，即对特征进行采样。但那么其他两种算法如何选择这些特征呢？

谢谢！

Answer 1

额外树（ET）又名。 极随机树与随机森林（RF）非常相似。这两种方法都是装袋方法，聚合了一些完全成长的决策树。 RF只会尝试拆分，例如三分之一的功能，但评估这些功能中的任何可能的断点并选择最佳。但是，ET只会评估一个随机的几个断点并选择最好的断点。 ET可以将样本引导到每棵树或使用所有样本。 RF必须使用bootstrap才能正常工作。

xgboost是渐变增强的实现，可以与决策树一起使用，典型的较小树。训练每棵树以校正先前训练的树的残差。梯度增强可能更难以训练，但可以实现比RF更低的模型偏差。对于噪声数据，装袋可能是最有希望的。对于低噪声和复杂的数据结构，提升可能是最有希望的。