信息收益可能是负面的吗?

时间:2015-09-23 23:14:02

标签: machine-learning decision-tree

我的测验很奇怪。{(200 + / 300 - ) - >((50 + / 50 - ),(250-,150 +))},在计算IG为负数后。有人可以解释原因吗?

1 个答案:

答案 0 :(得分:0)

在我研究了其他一些问题之后,我想我有了一些想法。有些人说信息增益不能是负面的,但实际上可能是,取决于你选择拆分的功能。我发现了一篇论文http://compbio.umbc.edu/Documents/Negative_information.pdf,它表明一些蛋白质可以影响对基因组成分的理解,因为蛋白质非常混乱。如果我们使用一些混乱的特征来构建我们的树,信息增益将是负面的,因为想象一下,在现实世界中,如果我们想做出决定,一些功能可能会让我们犹豫不决。如果我们使用这种特征来做出决定,结果将更加不确定。原谅我可怜的英语......

我给出的例子实际上是正面的......我的错误,抱歉。