梯度下降 - 步数值

Question

让k = alpha * partial_derivative ( J (theta1) ) w.r.t theta1

theta1 := theta1 - k。

在Andrew的课程中，他说alpha是学习率。如果导数是正数，我们会减去alpha * k，如果是负数，我们会加上它。为什么我们需要减去此alpha * partial_derivative ( J (theta1) ) w.r.t theta1而不是alpha * just the sign of derivative？

那里乘法的需要是什么？感谢。

Answer 1

我们需要减小k的值 - 步长值，同时我们达到最小值。正如我们所知，当我们达到最小值时，导数也会变为零。因此，我们将alpha和导数相乘，以生成一个步进值，当我们达到最小值时趋向于零。