加载模型后学习性能提高

Question

我正在训练一个LSTM模型，该模型通常会达到平稳状态并且无法完全收敛（在初始运行中，十分之一左右会收敛）。但是，如果加载预训练模型，即使不调整学习率，也总是可以立即获得巨大的学习改进。那是什么原因造成的？即使在最初运行的算法中停滞了60个以上的时间段后，为何性能仍得到巨大改善？ 我使用默认学习率的Adam优化器。

损失函数用于初始训练

加载模型后的损失函数