标签： random entropy information-theory cross-entropy
我有一个二维随机向量 x = [ x 1 ， x 2 ] T 具有已知的联合概率密度函数（PDF）。 PDF是非高斯的，随机向量的两个条目在统计上是依赖。我需要证明，例如 x 1 比 x 2 更重要 ，就其携带的信息的数量而言。这个问题有经典的解决方案吗？我可以证明， x 所携带的总信息的n％位于 x 1 和100- n％由 x 2 承载？
我认为衡量信息量的标准方法是计算熵。有线索吗？