当我们使用线性回归建立模型时，如何初始化梯度下降中的参数？

Question

当我在python或R中构建线性回归模型时，我只使用拟合方法。这种方法不要求初始化学习率或起点，而梯度下降需要这个（据我所知）。因此，如果我假设模型使用梯度下降进行优化，那么在使用拟合方法时，线性模型如何选择这些参数？

或者，如果模型不使用梯度下降（或其任何类型），那么它使用哪种算法（以及如何）进行优化？

Answer 1

我假设你使用的是lm.fit()方法。此方法对QR Decomposition使用regression技术。该技术不需要设置学习速率和起点参数。