计算固定数据集的两个分类器之间的互信息

Question

搜索网页后，我的问题没有答案。例如，有一些公式可以计算两个分类器之间的熵。

如何计算互信息？

Answer 1

考虑我们有两个随机变量X和Y.这两个统计变量之间的相互信息由I(X,Y) = H(X) + H(Y) − H(X,Y)定义，其中H(X)是 变量X的熵，H(X,Y)是两个变量的联合熵，H(Y|X) = H(X,Y) − H(X)是有条件的 在给定变量Y的值的情况下，测量变量X的不确定性的熵。这两个变量之间的MI衡量一个变量的不确定性减少量，给定另一个变量的值。