使用拉普拉斯平滑获得负面信息

Question

如果也使用拉普拉斯平滑，是否有可能获得负面信息增益？

我们知道：

IG = H(Y) - H(Y|X)

这里，H是熵函数，IG是信息增益。

此外：

  

H（Y）=-Σ _y P（Y = y）.log ₂ （P（Y = y））

     

H（Y | X）=Σ _x P（X = x）.H（Y | X = x）

     

H（Y | X = x）=-Σ _y P（Y = y | X = x）。log ₂ （P（Y = y | X） = X））

例如，假设P（Y = y | X = x）= n _{y | x} / n _x 。但是有可能n _x = 0且n _{y | x} = 0.所以，我做拉平光滑并定义P（Y = y | X = x）= （N <子> Y | X 1）/（N <子> X + | X |）。这里，| X |表示X可以采用的可能值的数量（如果选择X作为属性，则可能的分割数）。是否有可能由于拉普拉斯平滑，我得到负面信息增益？