为什么将回归视为机器学习的一部分？

Question

如果用机器学习（ML）来表示从数据中学习的任何程序，那么可以，回归可以说是ML的一部分。但是机器学习还有其他几个方面，例如：基于某些性能指标对解决方案进行了迭代改进。对于线性回归，存在直接公式形式的封闭形式解决方案，通过该解决方案可以确定所有参数，并且不涉及迭代。但是还有其他版本的参数估计用于回归，它使用了梯度下降法，并且涉及多次迭代。这是否意味着强制执行此用于回归的参数估计的迭代版本，以将回归置于机器学习的保护下？还是迭代版本具有直接公式不提供的某些优势？

Answer 1

我不会评论回归是否属于ML的一部分（我真的不知道您的定义来自何处）。但是，关于迭代方法的优势，请注意，线性回归的封闭形式解决方案如下：

其中X是您的设计矩阵。 请注意，对矩阵求逆是O（n ^ 3）运算，对于大n而言是不可行的。这是使用GD的迭代方法的明显优势。