在时间差异学习中重复计算

时间:2016-06-05 05:25:43

标签: python machine-learning reinforcement-learning temporal-difference

我正在研究时间差异学习示例(https://www.youtube.com/watch?v=XrxgdpduWOU),我在python实现中遇到以下等式时遇到了一些麻烦,因为我似乎在重复计算奖励和Q.

如果我将下面的网格编码为2d数组,我的当前位置是(2,2),目标是(2,3),假设最大奖励为1.让Q(t)为我的平均值当前位置,则r(t + 1)为1,并且我假设最大Q(t + 1)也是1,这导致我的Q(t)变得接近2(假设伽玛为1)。这是正确的,还是我应该假设Q(n),其中n是终点是0?

enter image description here

Grid

编辑包含代码 - 我修改了get_max_q函数以返回0,如果它是终点并且值现在都低于1(我认为这更正确,因为奖励只是1)但不确定这是否是正确的方法(之前我将它设置为在终点时返回1)。

#not sure if this is correct
def get_max_q(q, pos):
    #end point 
    #not sure if I should set this to 0 or 1
    if pos == (MAX_ROWS - 1, MAX_COLS - 1):
        return 0
    return max([q[pos, am] for am in available_moves(pos)])

def learn(q, old_pos, action, reward):
    new_pos = get_new_pos(old_pos, action)
    max_q_next_move = get_max_q(q, new_pos) 

    q[(old_pos, action)] = q[old_pos, action] +  alpha * (reward + max_q_next_move - q[old_pos, action]) -0.04

def move(q, curr_pos):
    moves = available_moves(curr_pos)
    if random.random() < epsilon:
        action = random.choice(moves)
    else:
        index = np.argmax([q[m] for m in moves])
        action = moves[index]

    new_pos = get_new_pos(curr_pos, action)

    #end point
    if new_pos == (MAX_ROWS - 1, MAX_COLS - 1):
        reward = 1
    else:
        reward = 0

    learn(q, curr_pos, action, reward)
    return get_new_pos(curr_pos, action)

=======================
OUTPUT
Average value (after I set Q(end point) to 0)
defaultdict(float,
            {((0, 0), 'DOWN'): 0.5999999999999996,
             ((0, 0), 'RIGHT'): 0.5999999999999996,
              ...
             ((2, 2), 'UP'): 0.7599999999999998})

Average value (after I set Q(end point) to 1)
defaultdict(float,
        {((0, 0), 'DOWN'): 1.5999999999999996,
         ((0, 0), 'RIGHT'): 1.5999999999999996,
         ....
         ((2, 2), 'LEFT'): 1.7599999999999998,
         ((2, 2), 'RIGHT'): 1.92,
         ((2, 2), 'UP'): 1.7599999999999998})

1 个答案:

答案 0 :(得分:1)

Q值表示在剧集结束前预计会收到多少奖励的估计值。因此,在终端状态中,maxQ = 0,因为在此之后您将不再获得任何奖励。因此,t处的Q值将为1,这对于您的未折现问题是正确的。但是你不能忽略等式中的gamma,将它添加到你的公式中以使其打折。因此,例如,如果gamma = 0.9t的Q值将为0.9。在(2,1)和(1,2)它将是0.81,依此类推。