多元线性回归的梯度下降

Question

好的，那么这个算法究竟意味着什么？

我所知道的：

i）alpha：梯度下降的步长有多大。

ii）现在，Σ{hTheta [x（i）] - y（i）} ：指给定的Theta值的总误差。

错误是指预测值{hTheta [x（i）]}与实际值之间的差异。[y（i）]

Σ{hTheta [x（i）] - y（i）}给出了所有训练样例中所有误差的总和。

Xj ^（i）最终代表什么？

我是否在为多变量线性回归实现渐变下降时执行以下操作？

Theta（j）减去：

• alpha

• 次1 / m

• 次：

{第一训练例的误差乘以第一训练例的第j个元素。 PLUS

第二训练例的错误由第二训练例的第j个元素复制。加号

第n训练例的PLUS误差乘以第n训练例的第j个元素。 }

Answer 1

Gradient Descent是一种用于查找函数最小值的迭代算法。当给出凸函数时，保证在给定足够小的α时找到函数的全局最小值。这里是梯度下降算法，以找到函数J的最小值：

这个想法是在学习速率alpha下以与梯度相反的方向移动参数。最终它会降到最低功能。

我们可以为theta的每个轴重写此参数更新：

在多元线性回归中，优化的目标是最小化误差平方和：

这个成本函数的偏导数可以通过使用替换来推导，其中我们使用elementary power rule，将幂2减去1并将2作为系数，从而消除1/2系数。然后我们将h（x）的导数放到theta_j，即右边的x_j。

这里，x_j ^（i）代表h_theta（x ^（i））到theta_j的偏导数。 x_j ^（i）是第i个数据的第j个元素。