Question

在Andrew Ng的拟合值迭代算法中，我给出了以下详细步骤，它将尝试在步骤3中找到一个状态s（i）的最佳操作。当代理处于s（i）时，我们执行可能的动作a（1），我们转到s（i）'。

我的问题是我们如何才能再次还原为s（i）并执行第二种可能的动作a（2）？假设我们使用这种算法来控制直升机，我认为我们不能轻易地将状态还原。

算法

1. Randomly sample m states s(1), s(2), . . . s(m) ∈ S.
2. Initialize θ := 0.
3. Repeat {
    For i = 1, . . . , m {
        For each action a ∈ A {
            Sample s′ 1, . . . , s′ k ∼ Ps(i)a (using a model of the MDP).
            Set q(a) = k1 Pk j=1 R(s(i)) + γV (s′ j)
            // Hence, q(a) is an estimate of R(s(i))+γEs′∼P
            s(i)a[V (s′)].
        }
        Set y(i) = maxa q(a).
        // Hence, y(i) is an estimate of R(s(i))+γ maxa Es′∼P
        s(i)a[V (s′)].
   }
   // In the original value iteration algorithm (over discrete states)
   // we updated the value function according to V (s(i)) := y(i).
   // In this algorithm, we want V (s(i)) ≈ y(i), which we’ll achieve
   // using supervised learning (linear regression).
   Set θ := arg minθ 1 2 Pm i=1 θT φ(s(i)) − y(i)2
}

Answer 1

请注意，第4.2.2节中描述的您所引用的算法是 4.2节的一部分。值函数逼近。第一部分是 4.2.1使用模型或仿真。

在第一部分中，我们可以阅读：

要开发一个值函数近似算法，我们将假设我们拥有MDP的模型或模拟器。非正式地，一个模拟器是一个黑匣子，将任何（连续值）状态s_t用作输入，并且操作a_t，并输出根据状态采样的下一个状态s_{t+1} 转移概率P_{s_t, a_t}

因此，该算法假设您可以使用模型/模拟器来模拟您将所有可能的动作应用于同一状态。如您所知，如果您拥有像直升机这样的真实环境（例如，既没有模型也没有模拟器），则无法对同一状态应用多个动作，因为在应用动作后状态会发生变化。

马尔可夫强化学习的拟合值迭代算法

算法

1 个答案: