如何选择学习率乘数的正确值？

Question

我想通过运行模型几个时期来使用Pytorch手动选择图像分类问题中的正确学习率。我已经使用LR调度程序来降低学习率，并且还在优化器参数组中操纵了学习率，但是我看不到Loss的任何变化。

Answer 1

调整学习速度并找到“一个”可能是非常繁琐且耗时的。

幸运的是，您不是第一个受此问题困扰的人，有几种方法可以更系统地调整学习率。
仅列举以下两种方法：

1. Hyper-gradient descent-将学习率视为一个参数，并对其进行“学习”。
2. Cyclical learning rates-在间隔内搜索“最佳”学习率。

Answer 2

请看一下。它可能会给您一些见解。 LR Finder fastai