如何计算非负约束最小二乘的投影矩阵?

时间:2016-05-31 16:10:25

标签: least-squares projection-matrix quadratic-programming

假设我们在R ^ p中有一个数据向量 z ,在R ^(p * N)中有一个训练数据矩阵 X ,其中N(N> p)是训练数据矩阵中的样本数。

如果我们想要找到 z 投影到 X 列所跨越的线性子空间,那么我们可以解决以下无约束问题< / p>

min || z - X b || ^ 2.

b 的最小平方估计是( X X &#39;)^ - 1 X ž即可。因此, z 对子空间的投影可以写成 X X X &#39;)^ -1 X z = P z P = X X X &#39;)^ - 1 X 是一个满足 P &#39;的投影矩阵。 = P P ^ 2 = P

如果我们将非负约束添加到 b ,则上述优化问题变为

min || z - X b || ^ 2,s.t。 b 中的每个元素都是非负的。

拉格朗日是|| z - X b || ^ 2 - v ^ T b ,其中 v 是一个N维向量。将拉格朗日wrt b 的一阶导数设置为零,我们发现 b 的估计:( X X &#39;)^ - 1( X &#39; z + 1/2 v )。因此, z 对子空间的投影是 X X X &#39;)^ - 1( X &#39; z + 1/2 v )。

我现在的问题可以描述如下。

是否有任何方法可以近似投影 X X X &#39;)^ - 1( X &#39; z + 1/2 v )使用 P z ,其中 P 是满足 P &#39;的投影矩阵。 = P P ^ 2 = P ?我如何估计 P

提前致谢!

0 个答案:

没有答案