DecisionTreeClassifier与ExtraTreeClassifier

Question

我正在试图找出scikit-learn包中哪种决策树方法更适合我执行分类任务的需要。

然而，我发现那里有两种决策树模型：

• 标准 DecisionTreeClassifier 基于scikit.tree包的优化CART算法。
来自scikit.ensemble包的
• ensemble方法 ExtraTreeClassifier 。

任何人都可以指定使用这些模型的优点和缺点吗？

Answer 1

ExtraTreeClassifier是DecisionTreeClassifier的极随机版本，意在内部用作ExtraTreesClassifier合奏的一部分。

{p> Averaging ensembles，例如RandomForestClassifier和ExtraTreesClassifier，旨在解决个别DecisionTreeClassifier的方差问题（缺乏对训练集中的小变化的鲁棒性）实例

如果您的主要目标是最大化预测准确性，那么您几乎应该总是使用一组决策树，例如ExtraTreesClassifier（或者boosting ensemble）而不是训练单个决策树。

有关详细信息，请查看原始Extra Trees paper。