神经网络，随着时间的推移值得改变学习率和动力

Question

在满足某些条件后，是否值得改变学习率？以及如何以及为什么这样做？例如，net将以高学习率开始，并且在平方误差足够低之后，学习率将下降以获得更好的精度，或者学习率应该增加到跳出局部最小值？它不会导致过度拟合吗？动量怎么样？

Answer 1

通常你应该从高学习率和低动力开始。然后随着时间的推移降低学习率并增加动力。这个想法是在学习开始时允许更多的探索，并在学习结束时强制收敛。通常你应该查看训练错误来设置你的学习计划：如果它被卡住了，即错误没有改变，那么是时候降低你的学习率了。