Tensorflow:渐变如何纳入可训练变量?

时间:2018-05-01 07:06:39

标签: python tensorflow gradient

我是TensorFlow的新手。我很想知道TF如何将渐变结合到LSTM的变量中(当使用渐变体面优化器时)。

在第一次迭代中调用tf.trainable_variables()tf.gradients()  在第二次迭代期间,我应该能够计算第二次迭代的tf.trainable_variables()(通过将梯度乘以学习速率)?

正如我理解的理论,更新的权重等于预先更新的权重减去该权重的梯度(损失)和学习率。但是当我为带有DynamicRNN的BasicLSTM单元执行此操作时,情况似乎并非如此。

0 个答案:

没有答案