梯度下降会卡在非最小点吗?我们如何证明其正确性?

时间:2019-01-29 12:25:35

标签: machine-learning gradient-descent

举个例子,让我们的成本函数为J(x,y)= x * y,我们目前在点(0,0)

则梯度向量将为(0,0)。这意味着我们不会使用梯度下降算法移动到任何其他点。

对于后面的问题,让我们考虑另一个示例:函数F(x,y)的x的导数(我们称其为Fx(x,y))为负,函数F(x的y的导数, y)(我们称它为Fy(x,y))也为负。然后,我们将使用梯度下降沿向量alpha *(Fx(x,y),Fy(x,y))移动。对于任何足够小的alpha,我们如何保证F(x + alpha * Fx(x,y),y + alpha * Fy(x,y))

1 个答案:

答案 0 :(得分:0)

对于梯度下降算法而言,不能保证,无法找到全局最小值甚至局部最小值。 是的,如您所述,该算法将停留在(0,0)处。但是,您很可能永远不会完全来到(0,0)。 也有很多技术可以防止这种情况的发生。