人工神经网络软件程序中的学习率参数

Question

我使用的是一种称为人工神经网络的软件程序。该软件的一个参数称为学习率（也称为alpha）。可以通过前后移动滑块来控制学习速率设置。在滑块的一侧是另一侧的值1E-05只是1.中间是各种值，如9E-05，.000045等。我想知道的是这两个学习率中的哪一个是学习速度最快，一边是1E-05，另一边是1。感谢。

Answer 1

学习率不是关于<强>训练的速度当使用相当天真的函数近似时，它是关于步骤的大小（线性 - 对于一阶优化器，或二次） - 第二次订购）。因此，非常小的学习率应该导致训练缓慢，但是大的学习率会导致缺乏训练。此外 - 两者之间的值仍然可能不是单调的（您可以进行训练，其中较小的学习率实际上比较大的学习率收敛得更快）。因此，即使天真地我们可以说大学习率是更快的训练 - 一般来说这不是真的，而且 - 人们无法回答什么是最快的学习率。你只能在这里使用一些通用的启发式/观察 - 你可以从很高的学习率开始，如果结果不好，试着减少它。但就实际培训时间保证而言 - 没有。