我正在实施C4.5，在我的计算中我得到（例如某些例子）信息增益的负值。我读过Why am I getting a negative information gain，但我认为看起来不同。我把我的计算推高到excel，我得到的结果如下：
我做错了什么？
我尝试再次计算它，并且我得到负值，如下图所示： Newest calculations with data set 80是分割值，所以我得到11＆lt; = 80和3个对象＆gt; 80
答案 0 :(得分：0)
您是否将熵的结果乘以-1？
$$ H（X）= - \ sum_ {i = 1} ^ n {\ mathrm {P}（x_i）\ log_b \ mathrm {P}（x_i）} $$
呃......在使用mathjax时出现问题，go here for definition
