如果为决策树选择了一个不好的属性，这里有一个一致的假设吗？

Question

我从一个笔记中给某人一个句子，我现在想知道这个陈述是如何有效的：

  

在构建无噪声数据的决策树时，如果是一个好的特征   尚未被选中为root，我们仍然可以创建一致的   假设

对我来说没有意义：为什么我们仍然可以在这种情况下创建一致的决策树？

备注：如果f是目标函数，我们假设假设h在所有示例中与f一致时是一致的

Answer 1

除非我没有误解这个问题，否则我会说这句话是真的。

提出一个简单的例子并不是最简单的事情，但在这里（对不起我糟糕的绘画技巧）。

在这张图片中，我们可以看到如何以root身份选择特征x2返回最大信息增益，并允许我们找到具有最小决策树的一致假设。 事实上h(x) = "cross"如果x2 > 1。

这并不妨碍我们找到一致的假设，选择最差的特征x1作为根。 通过这种方式，我们将在x1上进行初始分支：

x1 < 1然后我们会在x2

上执行连续分支

x1 > 1并且从这里开始。

这样，如果h(x) = "cross"我们会获得x1 < 1 && x2 > 1。否则h(x) = "circle"。因此，再次提出了一致的假设。