何时使用学习率查找器

时间:2019-02-09 15:07:58

标签: machine-learning deep-learning pytorch gradient-descent fast-ai

阅读论文' 训练神经网络的https://arxiv.org/abs/1506.01186

的循环学习率

如果模型过度拟合,使用学习率查找器有意义吗?除了在模型过度拟合之前减少迭代次数,使用学习查找器可以防止过度拟合?

从阅读论文来看,没有建议减少过度拟合的方法,我的解释正确吗?

1 个答案:

答案 0 :(得分:0)

我认为改变学习率不会减少过度适应。为了避免过度拟合,您可能需要使用L1 / L2正则化和辍学或其某些变体。