决策树 - 节点的熵可以为零吗？

Question

信息增益公式由

给出

Information Gain = entropy(parent) – [average entropy(children)]

熵可以为零，这在某些情况下意味着：

entropy(parent) == [average entropy(children)]

Answer 1

＆＃34;当H(S) = 0时，集合S被完全分类（即S中的所有元素属于同一类）。＆＃34; - https://en.wikipedia.org/wiki/ID3_algorithm

H(S) =熵;）

Answer 2

Guiem给出了正确的答案，即当集合的所有元素属于同一个类时，熵为零。但关于你的问题，还有两点值得注意：

首先，在实施决策树时，如果entropy(parent)为零，则没有理由计算children的信息增益，因为数据已经完全分类（即，您在树的叶节点。）

其次，entropy(parent) == [average entropy(children)]的情况不一定仅在parent的熵为零时发生。当parent具有非零熵时（即，children上的拆分信息增益为零），也可能发生这种情况，这表明在children上拆分不会提高分类性能。