了解均匀分布情况下的条件熵?

时间:2019-05-16 20:28:45

标签: probability theory entropy information-theory uniform-distribution

在我遇到的这个示例中,请您帮我理解条件熵吗?

该示例考虑了4个统一流行的二元向量;例如: {f1,f2,f3,f4}每个都有熵F位。假定对{f1,f2}和{f3,f4}是独立的,而在f1和f2之间以及f3和f4之间存在相关性。

现在他们提到“具体来说,H(f1 | f2)= H(f2 | f1)= F / 4,而H(f3 | f4)= H(f4 | f3)= F / 4”。 我的问题是答案是F / 4,为什么看起来如此明显?

我了解到,由于这些向量一律受到欢迎,因此选择它们的概率为1/4。并且由于对{f1,f2}和{f3,f4}是独立的,因此选择每对的概率为1/2。所以我认为例如条件熵H(f1 | f2)= H(f2 | f1)应该是F / 2,而不是F / 4。有人可以帮我理解答案吗?为什么是F / 4?

0 个答案:

没有答案