sklearn线性回归中的学习率和迭代次数缺失

Question

我发现scikit-learn中的Linear，Lasso，Ridge都不使用学习率（我们称为alpha）或迭代次数。

考虑到它是梯度下降的核心，我想知道他们到底如何在没有学习率的情况下实现线性回归？

Answer 1

这些方法通过最小化目标函数来工作，但是线性回归和正则回归有所不同。一方面，线性回归通过最小化实际值和预测值之间的残差平方和来拟合最佳系数，也就是说，它正在最小化和目标函数，例如 || y-X || ^ 2 < / strong>，其中y是您的实际价值，X是预测的实际价值。 有关该过程的更多详细信息，请参见Understanding OLS estimation。

另一方面，套索和岭回归引入了另一个解释该系数的术语，例如，在岭回归中，最小化函数为 || y-X || ^ 2 + alpha * || w || ^ 2 ，其中alpha是通常所说的学习率，w表示拟合系数，有关正则化如何缩小系数值的更多详细信息，请参见answer。