线性回归 - （梯度下降与最佳拟合斜率）

Question

我浏览了Andrew NG的机器学习教程，并在线性回归中遇到了梯度下降。当我尝试使用Python查找相同内容时，我会在youtube教程中进行查看：https://www.youtube.com/watch?v=KLGfMGsgP34&index=9&list=PLQVvvaa0QuDfKTOs3Keq_kaG2P55YRn5v

此处最佳拟合斜率用于线性回归。请建议何时使用哪一个？高阶多项式可以使用最佳拟合或类似过程吗？它可以用于多元线性回归吗？

问候 Souvik Saha Bhowmik

Answer 1

您指的最佳拟合线也称为正规方程。其矩阵形式为：

如您所见，为了计算beta，您需要进行矩阵乘法和矩阵求逆。如果矩阵X非常大，这可能在计算上很昂贵。此外，如果（X ^ t * X）恰好是单数，那么您也无法进行矩阵求逆。如果X中存在共线性，则会发生这种情况（这就是为什么如果你采用线性回归而不是机器学习课程的统计课程，通常你会听到教师在安装之前强调删除你的特征中的共线性模型）。

梯度下降是一种非常常用的优化技术，它具有经验，计算成本低廉，易于实施和有效。尽管梯度下降并不完美，但在更复杂的问题领域，它可能会遇到像局部最小值这样的问题，并且需要我们选择合适的学习率。但通常在这些情况下，不存在任何封闭形式的解决方案，或者封闭形式的解决方案太昂贵而无法计算。因此，对于很多这样的情况，梯度下降将是一个很好的候选人。例如，即使在深度学习中，最常用的优化技术之一是梯度下降的变体（随机梯度下降，我认为在安德鲁的后期阶段，他谈到了小批量随机梯度下降）。

快速总结，渐变下降是一种广泛使用的优化技术，可应用于许多情况，它是您在工具箱中知道和拥有的一些好东西。这种封闭形式的解决方案很容易知道，但它有其局限性，并且不会扩展到大小或更复杂的问题。