线性回归和非线性回归之间的区别？

Question

在机器学习中，我们说：

• w ₁ x ₁ + w ₂ x ₂ + ... + w _n x _n 是线性回归模型，其中w ₁ ，w ₂ .... w _n 是权重，x ₁ ，x ₂ ... x ₂ 是特征而是：
• w ₁ x ₁ ² + w ₂ x ₂ ² + ... + w _n x _n ² 是非线性（多项式）回归 model

然而，在一些讲座中，我看到人们说模型是基于权重的线性，即权重系数是线性的，而特征的程度无关紧要，无论它们是否是线性（x ₁ ）或多项式（x ₁ ² ）。真的吗？如何区分线性和非线性模型？它是基于权重还是特征值？

Answer 1

两种口味都存在。

如果您在统计社区中，它通常是前者（特征中的非线性，x ^ 2或e ^ x等）。例如，请参阅this。

在机器学习社区，重点更多的是权重;特征函数可以是任何东西（例如参见SVMs中的内核技巧）。

原因是不同的社区有不同的方法来解决这些类似的问题。统计界更多的是直接和分析方法;而机器学习的目标略有不同（在未知的概念空间中建模复杂的复杂模式）。

Answer 2

  

如何区分线性和非线性模型？它是基于权重还是特征值？

我只是在＆＃34中听到/读过它;模型相对于特征是线性/非线性的＃34;。这通常是有趣的事情。我不知道你的模型中有一个术语w _i ² 会对你有所帮助，因为它本质上是一个常数。只有功能在测试时间内发生变化。

因此，线性模型可以表示为

其中w _i 定义您的模型，x _i 是您的输入。不同的w _i 导致不同的模型（但它们相对于特征都是线性的）。如果您的模型不适合该方案，那么您的模型在特征方面不是线性的。

现在，您可以添加新功能，这些功能基本上只是（手工制作）输入的非线性转换。例如，您可以制作模型

你可能会认为这是一个关于输入的非线性模型。但是，您也可以认为它本质上是模型

我认为这里的重要部分是它是手工制作的。您更改了要素空间，而不是模型的能力。所以它仍然是一个线性模型，但在另一个特征空间。当你这样做时，你可以使任何模型都是非线性的。

毕竟：它真的重要吗？这听起来有点像你正在准备考试。如果是这种情况，我建议你问一下你的讲师并坚持他所定义的线性/非线性。

Answer 3

请加入Stats SE，并添加到this讨论中。我认为在这种情况下更合适。但是，为了说服您至少单击链接，这里是“简短答案”：“如果（且仅当）模型噪声（误差）的统计分布可以仅使用观察值，因子和/或预测变量的线性组合来描述，则该模型是线性的。否则，不是。”

正如您所看到的，我对它进行了统计旋转，因为那是我的教育背景（实际上，应用数学更多地集中在概率论上）。这意味着当您从真值（向量）中减去模型的预测值时，该方程式必须是可表达的（有时是通过数学转换），作为因子/预测变量和真值数据作为向量的线性组合。线性空间。