我一直在考虑马尔可夫方程的信息熵：
H = -SUM（p（i）lg（p（i）），其中lg是基数2的对数。
这假设所有选择具有相同的概率。但是如果给定的一组选择中的概率不相等呢？例如，假设StackExchange有20个站点，并且用户访问除StackOverflow之外的任何StackExchange站点的概率是p（i）。但是，用户访问StackExchange的概率是p（i）的5倍。
马尔可夫方程在这种情况下不适用吗？或者是否存在我不知道的高级马尔可夫变异？
答案 0 :(得分：1)
从你的例子中你想到Markov Chains？
答案 1 :(得分：1)
我相信你混淆了两个概念：熵和马尔可夫方程。熵使用您给出的等式测量状态分布的“无序”：H = -SUM（p（i）lg（p（i）），其中p（i）是观察每个状态的概率i。 / p>
Markov属性并不意味着每个州都有相同的概率。粗略地说，如果观察状态的概率仅取决于观察一些先前的状态，则系统被称为展示马尔可夫属性 - 在一定限度之后，您观察到的额外状态不会增加预测下一状态的信息。
原型马尔可夫模型被称为马尔可夫链。它说，从每个州i，你可以移动到任何另一个概率的状态，表示为概率矩阵：
0 1 2
0 0.2 0.5 0.3
1 0.8 0.1 0.1
2 0.3 0.3 0.4
在这个例子中，从状态0移动到1的概率是0.5，并且仅取决于处于状态0（更多地了解先前的状态不会改变该概率）。
只要所有州都可以从任何州开始访问，无论初始分布如何，每个州的概率都会收敛到一个稳定的长期分布，并且在“长序列”中你会得到以稳定的概率观察每个状态，每个状态不一定相等。
在我们的例子中，我们最终得到概率p（0），p（1）和p（2），然后你可以使用你的公式计算该链的熵。