鉴于马尔可夫链的初始状态，它的平稳分布有何意义？

Question

设X_n为MC，P不规则

假设我们有一个静止的dist（pi_0，...，pi_n）和P（X_0 = i）= 0.2，这有什么意义吗？

更清楚：

我问因为Karlin说当静止dist不是一个限制dist时，P（X_n = i）取决于初始分布。这究竟意味着什么？

Answer 1

你的标题需要一个冗长的答案;我必须提供一些参考资料，让您阅读有关马尔可夫链和遍历理论的更多信息。但是，您的具体问题是：

＆＃34; ...当静止dist不是限制dist时，P（X_n = i）取决于初始分布。这究竟意味着什么？＆＃34;

可以通过一个简单的例子来回答。考虑具有两种状态的马尔可夫链

假设转换矩阵P =

[0.4,0.6]

[0.6,0.4]

如果我在时间t告诉你你目前处于状态A，然后询问你将在下一个状态（在时间t + 1），你会将P乘以[1,0]并解释结果[0.4,0.6]意味着你40％确定你仍然处于状态A并且60％确定你最终会进入状态B.

现在如果我告诉你你在时间t你处于A状态并询问你在t + 999时间处于什么状态怎么办？在所有这段时间里，你在各州的反弹方式中存在着如此多的随机性，以至于你真的无法密切关注这个链条。从你从州A开始的事实。基本上，这些信息是＆＃34;混合在＆＃34;通过马尔科夫链，直到你开始在A开始并不重要。只要问问自己：如果我告诉你你是在B州开始而不是在A州，你对你的州在时间t + 999的看法会有什么变化？ ？你无法让人产生不同的看法;那就是不变性。

在数学上，给定时间t的状态的时间t + 999的转移矩阵是P ^（999）。该矩阵的每一行都是相同的，因此左乘以任何概率分布（[x，y]，其中x + y = 1）将得到相同的答案。对于这个问题，这个＆＃34;限制＆＃34;分布是[0.5,0.5]，意味着在999次步骤之后，你将50％确定你处于状态A并且50％确定你处于状态B，而不管999次步骤之前你是否已经开始在A中，静止分布是对应于特征值1的P的左特征向量。如果P ^ t的所有行都收敛到它，则称为P的极限分布。 INF。

马尔可夫链没有限制分布怎么样？考虑一个P，

[0,1]

[1,0]

这马尔可夫链有一个＆＃34;翻转＆＃34;周期性。如果在时间t你处于状态A，你100％确定你在时间t + 1处于状态B，反之亦然。因此，如果我告诉你在时间t你处于状态A，你会知道在时间t + 999，你将处于状态B，因为999是奇数。或者，如果我在时间t告诉你你处于状态B，那么在时间t + 999你会期望处于状态A.注意对初始条件的依赖。该马尔可夫链对该起始信息敏感。它没有＆＃34;混合＃34;。在数学上，P ^ t不收敛为t - > INF。

尝试在代码中使用这些矩阵！