标签: gradient deep-learning
与大多数数字超参数一样, 应该在对数域中探索学习率,并且没有太多可以获得的 通过精炼它超过2倍,而探索的动态范围可以是左右 10 ^ 6,学习率通常低于1.
在这一段中,我想知道 1:log-domain是什么意思? 2:因子2的用途是什么? 3:动态范围是什么意思?
谢谢!
答案 0 :(得分:0)
它可能正在谈论如何扩大学习率
1:http://en.wikipedia.org/wiki/Logarithmic_scale
2:http://en.wikipedia.org/wiki/Scale_factor
3:http://en.wikipedia.org/wiki/Dynamic_range