在时间差异中更新规则

Question

更新规则TD（0）Q-Learning：

Q(t-1) = (1-alpha) * Q(t-1) + (alpha) * (Reward(t-1) + gamma* Max( Q(t) ) )
然后采取当前最佳行动（优化）或随机行动（探索者）

其中MaxNextQ是下一个州可以获得的最大Q ...

但在TD（1）中我认为更新规则将是：

Q(t-2) = (1-alpha) * Q(t-2) + (alpha) * (Reward(t-2) + gamma * Reward(t-1) + gamma * gamma * Max( Q(t) ) )

我的问题：
gamma * Reward(t-1)一词意味着我将始终在t-1采取最佳行动......我认为这将阻止探索...... 有人可以给我一个暗示吗？

由于

Answer 1

您所说的“资格跟踪”用法，对吧？ 请参阅equations and the algorithm。

注意那里的 e_t（s，a）等式。使用探索步骤时不会受到任何惩罚。