scikit-learn是否执行“真实”多元回归（多个因变量）？

Question

我想使用多个预测变量来预测多个因变量。如果我理解正确，原则上可以制作一组线性回归模型，每个模型预测一个因变量，但如果因变量是相关的，那么使用多元回归更有意义。我想做后者，但我不确定如何。

到目前为止，我还没有找到专门支持此功能的Python包。我尝试过scikit-learn，尽管他们的线性回归模型示例仅显示y是一个数组（每个观察一个因变量）的情况，但它似乎能够处理多个y。但是，当我将这种“多变量”方法的输出与我通过手动循环每个因变量并相互独立地预测它们得到的结果进行比较时，结果完全相同。我不认为应该是这种情况，因为在一些因变量（> 0.5）之间存在强相关性。

代码看起来像这样，y是n x 1矩阵或n x m矩阵，以及各种大小的x和newx矩阵（数字） x == n中的行数。

ols = linear_model.LinearRegression()
ols.fit(x,y)
ols.predict(newx)

此功能是否实际执行多元回归？

Answer 1

如果要考虑因变量之间的相关性，可能需要Partial least square regression。该方法基本上是搜索自变量的这种投影和因变量的这种投影，这两个投影之间的协方差最大化。请参阅scikit-learn implementation here。

Answer 2

这是一个数学/统计问题，但无论如何我都会尝试回答它。

你看到的结果绝对是预期的。像这样的线性模型不会考虑因变量之间的相关性。

如果您只有一个因变量，那么您的模型基本上由权重向量

组成

w_0  w_1  ...  w_n,

其中n是要素数量。使用m因变量，您可以使用权重矩阵

w_10  w_11  ...  w_1n
w_20  w_21  ...  w_2n
....             ....
w_m0  w_m1  ...  w_mn

但是不同输出变量（1，...，m）的权重完全相互独立，并且由于误差平方和总和分成每个输出变量的平方误差之和，因此最小化平方总损失与为每个输出变量设置一个单变量线性模型并将它们的平方损失彼此独立地最小化完全相同。