如何理解SGD的学习率选择

时间:2014-08-31 06:44:02

标签: gradient deep-learning

与大多数数字超参数一样, 应该在对数域中探索学习率,并且没有太多可以获得的 通过精炼它超过2倍,而探索的动态范围可以是左右 10 ^ 6,学习率通常低于1.

在这一段中,我想知道 1:log-domain是什么意思? 2:因子2的用途是什么? 3:动态范围是什么意思?

谢谢!

1 个答案:

答案 0 :(得分:0)