深度学习的随机性

Question

我正在阅读有关深度学习概念随机梯度的信息。在下面的快照中，我不明白该声明的含义：“但是，朝这个方向迈出重要一步的普遍问题是，随着我们的移动，坡度可能会在我们脚下改变！”我们在下图中展示了这个简单的事实。我无法解释这个数字。请解释

Answer 1

我们要减少预测值和实际值之间的误差。将实际值和预测值视为2D点。您应该将预测值的点移到与实际值的点接近的位置。要移动该点，您需要一个方向，SGD会提供该方向。

查看图像C，轮廓中心是实际值，P1是第一个预测值，并且SGD（蓝色箭头）显示了减小P1和C之间距离的方向。如果从P1开始并且您在第一个箭头方向上迈出了重要的一步，您将在距离C远的P2处结束。但是，如果您采取小步（蓝点），并且在每一步中都根据新的SGD方向移动（每个点的蓝色箭头），您将到达接近C的点。

大步长会使您在实际值附近波动，太小的步长也需要很长时间才能达到实际值。在大多数情况下，我们会在学习过程的开始采取很大的步骤，然后逐渐缩小。