学习率低vs学习率高

Question

我是ML的新手。当我突然阅读有关反向传播的信息时，我有一个问题。
在神经网络的反向传播学习中，
我们应该从小的学习速率开始，然后在学习过程中逐渐提高它吗？还是
我们应该从大学习率开始，然后在学习过程中慢慢降低它吗？

哪个是正确的？

Answer 1

通常，第二个它正确- 以这种方式思考-学习率高意味着您可以粗略地寻找空间中的最佳区域。然后，通过少量学习，您可以调整权重以找到最佳价值。

如果您使用恒定的高学习率，则将“跳到”最低点附近。如果您使用恒定的小学习率，那么将需要很多时间来收敛。这就是为什么学习率下降是个好主意的原因。

话虽如此，但还有一些用于学习速率调度的更高级的技巧，它们并不能单调地降低学习速率。