给定5个状态的马尔可夫链的转移矩阵，找到第一次通过时间和重现时间

Question

马尔可夫链的转移矩阵：

0.5  0.3  0.0  0.0  0.2 
0.0  0.5  0.0  0.0  0.5
0.0  0.4  0.4  0.2  0.0 
0.3  0.0  0.2  0.0  0.5 
0.5  0.2  0.0  0.0  0.3 

这是状态为{1,2,3,4,5}的转换矩阵。状态{1,2,5}是经常性的，状态{3,4}是暂时的。我怎么能（不使用基本矩阵技巧）：

• 计算首次返回状态1所需的预期步数，条件是从状态1开始
• 计算首次到达任何州{1,2,5}所需的预期步数，条件是从州3开始。

Answer 1

如果您不想使用基本矩阵，可以做两件事：

1. 创建一个模拟马尔可夫链的函数，直到满足停止条件并返回步数。取大量运行的平均值来获得期望。
2. 在转换矩阵中引入虚拟吸收状态，并重复计算p = Pp，其中p是一个向量，在起始状态的索引中为1，在其他位置为0。通过一些会计，您可以获得所需的预期值。