实施互信息的问题

Question

相互信息由公式

定义

I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) 

其中X，Y是一些列向量。在我的例子中，X是连续信号，Y是离散化信号。 size（X）= 100，Y的离散数是10，Y的字长是5（说）。现在，我知道首先我们必须找到联合概率，然后是条件概率，然后是I（X， Y）。有鉴于此，我有以下实施问题

1. 在计算联合概率时，它们是否会被计算到大小（x）或直到识别信号的字长Y？
2. 如何获取I的单个数值和I
的图
3. 如何查找频道容量

Answer 1

请看等式的最后一部分：H(Y|X)是什么？它是Y的熵，假设我们知道X ...但Y只是X的离散化！更具体地说，如果我们知道X，那么我们就会准确地知道Y，因此给定Y的{​​{1}}的熵为零。这将离开你

X

还有什么问题需要回答这个问题吗？