举个例子,让我们的成本函数为J(x,y)= x * y,我们目前在点(0,0)
则梯度向量将为(0,0)。这意味着我们不会使用梯度下降算法移动到任何其他点。
对于后面的问题,让我们考虑另一个示例:函数F(x,y)的x的导数(我们称其为Fx(x,y))为负,函数F(x的y的导数, y)(我们称它为Fy(x,y))也为负。然后,我们将使用梯度下降沿向量alpha *(Fx(x,y),Fy(x,y))移动。对于任何足够小的alpha,我们如何保证F(x + alpha * Fx(x,y),y + alpha * Fy(x,y))
答案 0 :(得分:0)
对于梯度下降算法而言,不能保证,无法找到全局最小值甚至局部最小值。
是的,如您所述,该算法将停留在(0,0)
处。但是,您很可能永远不会完全来到(0,0)
。
也有很多技术可以防止这种情况的发生。