具有2 ^ n + 1个符号的源的最小和最大熵

Question

考虑具有N = 2 ^ n + 1个符号的字母表的理想源，计算最小熵。第一个符号的概率为1/2。

当所有符号具有相同概率时，达到最大熵。因为第一个对它有自己的价值，所以其余部分仍然可以平等分享另一半。

H（S）最大= 1/2 +日志（N-1）= 1/2 + N =（2N + 1）/ 2。

然后，当确定出现一个符号时，达到最小熵，其余符号则不然。同样，因为第一个已被赋予概率，所以让另一个具有1/2概率，其余为0.

H（S）分= 1/2 + 1/2 + 0（2 ^ N-1）= 1

我是对的吗？这似乎很简单，但我需要确定我理解这一点。

第二种情况（最小熵）的霍夫曼压缩是什么？我必须在树中插入每个sysmbol，不是吗？然后熵会很大，不是吗？

谢谢！

Answer 1

第一个符号上的条件似乎很奇怪，但鉴于您的解释，分析似乎是正确的。

对于霍夫曼编码：最佳代码将使用每个符号一个比特（根据发送的两个符号中的哪一个发送0或1）。无需将序列分配给其他符号，因为它们以0概率传输。

Answer 2

如果你只有两个非零概率的符号，你可以将它们表示为0和1.零概率符号不会用霍夫曼代码表示。