考虑一个系统，两个人坐在桌旁分享三本书。在任何时候，他们都在读书，一本书留在桌子上。当一个人完成阅读他/她当前的书时，他/她将其与书上的书交换并开始阅读。阅读时间呈指数分布，用bi，j表示人i阅读j的平均时间。
Let b = [1 2 4]
[5 1 2]
这个马尔可夫链的状态空间是什么？我如何构建速率矩阵Q？
我从我的讲义中得到了这个练习，并以某种方式发现状态空间令人困惑，因为它是连续时间马尔可夫链。
这些是我能想到的可能状态：
人i1和i2，A，B，C
i1,A
i1,B
i1,C
i2,A
i2,B
i2,C
但我怎么能用图形表示呢？我试过，但每个用户都有一个单独的马尔可夫链（可简化），我怀疑是正确的。我认为从那里构建基于矩阵b上的速率的速率矩阵应该没问题。
答案 0 :(得分：1)
这是其中一个可能更适合http://stats.stackexchange.com的问题，即使您打算编写代码来解决此问题。其中一个原因是你有一个易于使用的数学模式，而你就没有了。但无论如何，我会在这里给出答案。
当你想构建你的马尔可夫链时，它是连续时间链还是离散链并不重要，因为它们基于相同的概念并且通过正式的简单转换相关（正如当长度变为无穷小时，差商成为导数。相反，您正确获取州的信息内容很重要。因此，需要评估此处所需的内容才能进行转换。
为此，您提出的状态变量是不够的：它只包含一个读取器而且没有时间。显然，你需要读者和状态变量中的书籍。但也需要他们开始的时间，否则你不知道他们何时完成这本书。
因此，最终会得到一个状态变量
S = ({book_reader_1, start_time_1}, {book_reader_2, start_time_2})
然后可以通过将指数分布从start_time积分到当前时间t来评估转移函数，这给出了读者在t时完成的概率。你需要为两位读者做到这一点，但你可以单独进行，因为它们不影响他们的阅读时间。