当有超过2个类时，ID3的属性选择

Question

通常，我们在ID3中讨论具有最高信息增益的属性选择，假设有两类：正类和负类。但是，我只遇到有三个类的问题。如何对三类情况应用属性选择算法？

Answer 1

为方便起见，很多书只讨论I（p，n）的计算。如果有超过2个类，我们可以计算I（c1，...，cn）= - C1 * logC1-C2 * logC2 ...而C1是1类元素的比例。