成本复杂度修剪：修剪错误

Question

任何人都可以解释这两个陈述：

在成本复杂度修剪中，修剪树错误永远不会小于训练数据集中的原始树。

在成本复杂性修剪中，修剪树错误永远不会小于验证数据集上的原始树。

第一个陈述是正确的，而第二个陈述是假的。

Answer 1

对于您选择的任何修剪策略都是如此，只要构造原始树以最小化训练集中的错误。

  

True：修剪树错误永远不会小于训练数据集中的原始树。

原始树尽可能具体，通过用叶子节点替换子树，您只能得到一个不太具体的树。因此，训练数据中的错误可以保持不变或增加，也不会减少。

  

错误：修剪树错误永远不会小于验证数据集中的原始树。

我们假设验证集是未知的并且独立于训练数据集。因此，作为一般规则，您不能做出任何此类假设。修剪时，验证数据集上的错误可能会增加，保持不变或减少。

然而，我们预计错误会减少，因为树对训练数据的特定性会降低，因此更有可能与不同的数据集兼容。