损失图中步骤的含义是什么

Question

我发现一些纸（Resnet纸）的图表如下：

如您所见，当迭代次数增加时，损失会逐渐减少。但在某些时候（红色箭头），损失迅速减少（作为一个步骤）。这点是什么？它是否改变学习速度点？谢谢大家

Answer 1

是的，他们在那时改变了学习率。它可以是学习率计划，这意味着每X次迭代将学习率降低一个因子，或者可以是另一种策略，例如在检测到损失的平台时降低学习率。