最小二乘近似：如何扣除这个矩阵计算方程？

Question

我正在读一本书“模式分析的核心方法”。对于最小二乘近似，它是最小化差异的平方和：

E = Y型XW

因此最小化

L（W，S）=（Y-XW）'（Y-XW）

导致 $$ w =（X'X）^ - 1 X'y $$

直到现在我才明白。  但是它如何导致这种情况呢？ 究竟是什么a？这是不变的吗？

Answer 1

与仅在一个变量中求解二次函数的最小值（或最大值）的方法相同：通过求解一阶导数中的零：

diff((y-Xw)' (y-Xw), w) = 0

（只有这个＆＃34; 0＆＃34;是一个行数，与w一样多。）

在进行区分后，我们得到以下结果。 （注意＆＃39;是转置，而不是区分算子。）

-2y'X + 2w'X'X = 0

我们转置整个表达式（所以0是列向量）并除以2：

-X'y + X'Xw = 0

最后解决w：

w = (X'X)^-1 X'y

关于你的第二个问题：alpha只是整个表达式X(X'X)^-2X'y。关键是w可以写为X'和某些向量的点积，这意味着w是X＆＃39;的列的线性组合。 （X行）。