为什么模型收敛速度太快时学习率已经很小（1e-05）？

Question

我正在训练视频预测模型。

根据损失图，模型收敛速度非常快，而最终损失不够小，生成效果也不佳。

实际上，我已经测试了lr=1e-04和lr=1e-05，损耗曲线的下降速度稍慢一些，但仍然不理想。但是我认为lr=1e-05应该足够小，不是吗？

我应该如何修正我的模型或超参数？

Answer 1

尝试使用其他LR。您可能走得太快而陷入局部最优，或者走得太慢而没有找到全局最优。

在调整网络之前，请确保它不是LR的问题。 GL！