调整超参数具有检查点的初始模型

Question

我有一个关于为Inception ResNet V2模型（或任何其他DL模型）调整超参数的问题，我无法真正解决这个问题。 现在，我确定设置了某些超参数，例如learning_rate，decay_factor和decay_after_nr_epochs。我的模型保存了检查点，因此可以在以后继续这些点。 如果我再次运行模型，使用更多的纪元，它会在最后一个检查点继续逻辑继续训练。

但是，如果我要设置新的超参数，例如learning_rate = 0.0001而不是learning_rate = 0.0002，那么继续检查点是否有意义，或者在初始模型上使用新的超参数是否更好？

后者对我来说听起来更合乎逻辑，但我不确定这是否有必要。

提前致谢。

Answer 1

这两种方法都没问题但是你必须在调整后看到你的训练损失。如果它们在这两种情况下都会收敛，那么它就可以了，否则就会相应调整。

然而，据我所知，人们采用这两种方法1.最初保持较高的学习率并保持衰减因子，从而在开始收敛时缓慢降低学习速度。 2.如果你认为你可以适应更好的学习率，你可以留意失去功能，并尽早停止。