梯度会在RNN中累积而造成多次损失吗?

时间:2018-10-10 03:21:38

标签: python optimization deep-learning gradient rnn

假设我正在使用pytorch进行实施。假设我有一个像RNN一样的模型,它在每个步骤中都有损失:

for step in step_cnts:
    output = rnn(input, hidden)
    loss = loss + criteria(output, target)

使用loss.backward()向后移动时,RNN的每一步都会累积梯度吗? 而且这种积累不会导致梯度爆炸吗?

顺便说一句,如果我用loss = loss / step_cnts平均损失,则梯度将不同于 总和版本?

0 个答案:

没有答案