信息增益与最小化熵

时间:2015-11-21 11:08:39

标签: math decision-tree entropy information-gain

在什么情况下最大化信息增益不等于最小化熵?更广泛的问题是为什么我们需要信息获取的概念?仅使用熵来决定决策树的下一个最佳属性是不够的?

1 个答案:

答案 0 :(得分:0)

最大化IG(也称为互信息)倾向于提供与最小化熵相同的结果。

基本上,如果您最小化熵,则会强制信息增益最大化。