有条件的互信息表示法

Question

这可能是一个天真的问题，但我真的在努力解决这个问题。我已经查看了提供互信息和条件互助信息公式的论文和文章的数量......他们通常用两种方式写出来：

1. first formula

和

1. second formula

这些公式实际上是等同的吗？并且PX(x)实际上与P(x)相同吗？

Answer 1

PX(x)确实与P(x)相同。它们都代表概率P(X=x)。这两个公式是等价的。您可以使用以下法则从第二个移到第一个：P(A,B)/P(B)=P(A|B)。然后将这个定律应用于第二个公式

p(x,y|z)/[p(x|z)p(y|z)]=[p(x,y,z)/p(z)]/[{p(x,z)/p(z)}*{p(y,z)/p(z)}]=
=[p(x,y,z)*p(z)]/[p(x,z)*p(y,z)]

最后一次转换是取消p(z)之一。结果为您提供了第一个公式。