我是TensorFlow的新手。我很想知道TF如何将渐变结合到LSTM的变量中(当使用渐变体面优化器时)。
在第一次迭代中调用tf.trainable_variables()
并tf.gradients()
在第二次迭代期间,我应该能够计算第二次迭代的tf.trainable_variables()
(通过将梯度乘以学习速率)?
正如我理解的理论,更新的权重等于预先更新的权重减去该权重的梯度(损失)和学习率。但是当我为带有DynamicRNN的BasicLSTM单元执行此操作时,情况似乎并非如此。