互信息和预测准确性

Question

相互信息与预测分类准确度或回归MSE之间的关系是什么？在数据挖掘中是否可能具有高精度/低MSE和低互信息？

Answer 1

为概率分布对定义了相互信息。关于它与其他数量的关系可以说很多，很大程度上取决于你如何计算和表示这些概率分布（例如离散概率分布与连续概率分布）。

给定一组概率分布，分类准确度和互信息之间的关系为studied in the literature。简而言之，一个数量限制另一个数量，至少对于离散概率分布。

我不知道任何关于MSE和互信息之间关系的正式研究。

所有这些都说，如果我有一个具体的数据集，并且两个变量的互信息分数较低，但回归模型中的MSE也很低，我会仔细研究如何计算互信息。由于香农熵的原始公式（以及通过扩展互信息）被用于连续/浮点数据，因此发生100次中的99次，即使该方法仅适用于离散数据。