消息的最小预期长度

时间:2014-12-13 08:49:05

标签: binary statistics data-compression information-theory

一个袋子包含16个以下颜色的球:8个红色,4个蓝色,2个绿色,1个黑色和1个白色。 Anisha从包中随机挑选一个球,并使用一串零和一个消息向Babu发送颜色。她将球替换成袋子,并多次重复这个实验。每次实验她必须向Babu传达的信息的最小预期长度是多少? 的(a)3/2 (b)记录5 (C)15/8 (d)31/16 (e)2

据我说,因为球被更换取出。任何时候,包里都有16种5种不同颜色的球。要编码5种颜色,应该需要log5(基数2)的上限,即3位,但给出的答案是(15/8)。有人可以指出我的错误并提供一些正确解决方案的提示吗?

2 个答案:

答案 0 :(得分:2)

使用静态霍夫曼压缩,您可以使用比稀有颜色更少的位编码更常见的颜色,在这种情况下,通常可以选择常用颜色。

例如:

red    1
blue   01
green  001
white  0001
black  0000

平均从16次开始将有

8 reds   = 8 bits
4 blues  = 8 bits
2 greens = 6 bits
1 white  = 4 bits
1 black  = 4 bits

平均总共30/16位

答案 1 :(得分:0)

您的答案是编码所需的最大值。但请考虑以下编码方案1 - 红色(1/2概率),01 - 蓝色(1/4概率),00 - 绿色(1/8概率),001 - 黑色(1/16概率),000 - 白色( 1/16 prob)按概率乘以消息长度,你应该有1 + 5/8(不是15/8 ......但是)