MDP - 生成转移概率的技术

Question

我正在按照以下方式处理MDP汽车供需问题，并在考虑是否有任何技术可以自动而非手动生成转移概率矩阵。

假设需求如下：
时间，站1，站2 1000,3,1 1030,3,1 1100,2,3

假设从station1开始的汽车，有可能有60％的车辆在第1站下车，有机会在第2站下车的可能性为40％。 对于来自station2的汽车，假设车辆在车站1下降的可能性为80％，在车站2下车的可能性为20％。

我手动计算了以下内容。

在第1步，

P(car at station1 = 2,car at station2 = 8) = 0.0432
P(car at station1 = 3,car at station2 = 7) = 0.2016
P(car at station1 = 4,car at station2 = 6) = 0.1344
P(car at station1 = 5,car at station2 = 5) = 0.0896
P(car at station1 = 6,car at station2 = 4) = 0.0512

因此，想要检查是否有人可以提供见解，以便在第2步自动计算概率，而不是手动计算。

请咨询。

Answer 1

我不确定我理解你的问题。

如果在静止马尔可夫过程中，在给定时间x_t的状态变量t（这里是汽车所在的车站）的分布仅是转换矩阵的函数{{ 1}}和当时P的状态。

你可以写 任何t-1 x_t = x_{t-1} * P，表示t。

了解x_t = x_0 * P^t（汽车在开始时的分布，例如，如果汽车在两个车站之间均匀分布x_0）并使用x_0 = [0.5 0.5]，您就可以获得汽车的分布在任何时候P = [ 0.6 0.4 ; 0.8 0.2 ]为t > 0。