在Tensorflow中提取Adam更新率

Question

我想找出并跟踪亚当更新率

lr_t <- learning_rate * sqrt(1 - beta2^t) / (1 - beta1^t)

我跟着另一篇帖子，通过

得到了图表的节点

[n.name for n in tf.get_default_graph().as_graph_def().node]

我找到了

u'Adam/update',
u'Adam/value',
u'Adam',

我认为这三者中的任何一个都可能是我正在寻找的更新学习率，但我不知道如何提取它。请帮忙

Answer 1

假设您已定义优化程序：

optm = tf.train.AdamOptimizer(learning_rate = 0.01)
train_step = optm.minimize(L)

现在您可以使用以下代码访问v_t和m_t：

optm.get_slot(W, 'v')
optm.get_slot(W, 'm')

这些值是张量，因此可以通过运行会话来评估它们。

W是一些先前定义的变量。

通过考试the source了解更多信息。