我最近一直在使用RPART并进行了一项我不理解的计算。
在处理信息获取时，如何计算“改进”或变量重要性（从我的测试看，它们似乎相同）。
作为一个虚拟的例子，我尝试学习下表：
happy,class
yes,p
no,n
使用命令：
fit <-rpart(class ~ happy,data=train,parms = list(split="information"),minsplit=0)
这很简单，并返回带有根的预期树，然后每个叶子包含一个元素。
如果这让人感到困惑，那么拆分的改进是1.386294。
我希望这里的改进是1（从熵1到儿童的熵0），我错过了什么？
答案 0 :(得分：0)
好吧，回答这个问题，这是因为RPART正在使用自然日志。
因此，似乎改进分数是由节点中元素数量缩放的熵的改进。
根节点中的熵是：-ln（1/2）* 1/2 * 2 + -ln（1/2）* 1/2 * 2 = -ln（1/2）* 2 1.38。叶节点中的熵都是0。
为什么他们使用自然日志，我不知道。