当梯度下降定量地表明要减少的偏差和权重很大时，学习率在做什么？是一个初学者，有人请给我启发。
答案 0 :(得分：0)
学习率是一个超参数，它控制我们根据损耗梯度调整网络权重的程度。值越低，我们沿着下坡行驶的速度就越慢。尽管从确保我们不会错过任何局部最小值的角度来看，这可能是一个好主意（使用较低的学习率），但这也可能意味着我们将花费很长的时间进行融合-特别是如果我们坚持高原地区。
new_weight = existing_weight —学习率*梯度
如果学习率太小，梯度下降可能会变慢
如果学习速度很快，梯度下降可能会超过最小值，可能无法收敛，甚至可能发散