如何将adam优化器指标添加到tensorboard？

Question

当我为几个时代训练模型并希望再次重新训练以获得更多时代。 Adam优化器将如何工作。它会从t = 0初始化时间还是会保存最后一次？

a）张量流中的文档显示以下计算。有没有我可以将这些指标添加到tensorboard。

t <- t + 1
lr_t <- learning_rate * sqrt(1 - beta2^t) / (1 - beta1^t)

m_t <- beta1 * m_{t-1} + (1 - beta1) * g
v_t <- beta2 * v_{t-1} + (1 - beta2) * g * g
variable <- variable - lr_t * m_t / (sqrt(v_t) + epsilon)

自很长一段时间question1和question2以来，几个问题都没有答案。

在从最后一个检查点重新训练模型时，我实际上遇到了错误率问题，我不确定在这种情况下Adam优化器究竟发生了什么？

Answer 1

您的回答与我认为的这个问题有点类似：Saving the state of the AdaGrad algorithm in Tensorflow 如果您保存并重新加载优化器的状态，它将继续，如果您在训练后没有加载优化器的状态，它将只是重新开始！