Tensorflow降低了已保存模型的学习率

Question

我正在研究具有4个转换层和3个密集层的cnn模型。数据集包含约28000张图像和7000张测试图像。该模型已保存了检查点，到目前为止，我已经对其进行了几次训练，并且达到了60％的准确性，同时训练的学习率降低到2.6214403e-07（因为我使用ReduceLROnPlateau系数0.4）。我有疑问是否可以提高学习率，例如1e-4。并恢复了培训将如何影响我的模型？这是个好主意吗？

accuracy vs epoch

Answer 1

如果您的学习曲线立即达到平稳状态，并且在最初的几个时期内没有发生太大变化（如您的情况），则您的学习率太低。虽然您可以以更高的学习率继续进行训练，但可能会使初始时期的任何进展都变得毫无意义。由于通常您只能在各个时期之间降低学习率，并且由于网络的初始进度缓慢，因此您应该以提高的初始学习率进行再培训，直到看到更大的变化为止在最初的几个时期然后，只要发生过度拟合（测试精度下降而火车精度上升），就可以确定收敛点，并在此处停止。如果这一点仍然“不必要地晚了”，则可以另外减少学习速率的下降量，以加快各个时期之间的进度。