恢复检查点后损失增加

Question

以此存储库中的代码（https://github.com/tensorflow/models/tree/master/official/resnet）为例，我将其调整为在具有大量类的其他数据集上运行。

一切似乎工作正常，收敛很好，除了每次检查点恢复时，损失（和火车准确性）突然飙升。一段时间后，它会检索旧的最小值并下降。

某些东西还没有很好地恢复？我的意思是，它是否与检查点文件中不包含优化器的事实有关（如上一步中的渐变）？

Answer 1

我通过在还原过程中将saver = tf.train.import_meta_graph(checkpoint + '.meta')替换为saver = tf.train.Saver()来解决我的问题。 看到这篇文章：https://stackoverflow.com/a/41287885/6922356