吸收高阶马氏链的转移矩阵

Question

我有一个吸收马尔可夫链，让我说我有州 s = {START，S1，S2，END1，END2}
状态Start始终是链条的起点，但是一旦离开它就不可能返回到这个状态。
我很好奇转换矩阵对于吸收高阶马尔可夫链的看法如何。

现在假设我设置了二阶马尔可夫链转移矩阵，如下所示：

__________ C1 C2 C3 START END1 END2
C1，C1
C1，C2
C1，START
C1，END1
C1，END2
。
。

例如C1，START会如何？对于所有列，这将为零，但不是总和为1所需的行？我只是将其从矩阵中删除吗？
而且对于C1，END1来说，这一行怎么会全部为零？ 另一方面的状态END1和END2一旦进入它就不可能离开，即它们正在吸收。

我想知道第二阶或第k阶马尔可夫链的转换矩阵是什么样的。我找不到任何关于这个问题的好文章，请与som良好的文学作出贡献。

Answer 1

应从矩阵中删除(C1, START)行。这是因为状态(C1, START)不存在于描述链的图中。它不存在的原因很简单，即状态不可达，因此不应被视为有效状态。

通常，表示第k阶马尔可夫链的转移矩阵不应包含无效k元组的行（元组表示对应于不可能路径的状态序列）。

对于(C1, END1)行，它不是全零行，因为当您在END1时，您的下一个状态为END1，概率为1因此，从(C1, END1)开始，您有一个非零概率进入(END1, END1)。

Answer 2

好吧，如果你认为马尔可夫链是二阶的，那么你的初始状态应该是（C1，C1），（C1，C2），......，因此你的矩阵就像

__________（C1，C1）（C1，C2）（C1，C3）（C1，START）......

（C1，C1）

（C1，C2）

（C1，C3）

（C1，START）

（C1，END1）

（C1，END2）

...

具有许多零（例如，（C1，C2）到（C1，C1）的概率为零）。在你的情况下，它是一个25 * 25的矩阵。

如果您声称它是二阶，那么您必须有两个连续状态来估计下一个状态。