为什么SVD应用于线性回归

Question

我无法理解这些幻灯片为什么SVD应用于最小二乘问题？

接下来就是这样：

在这里，我不明白为什么残余物的衍生物被采用，并且该图中的想法是采用y的投影来最小化误差？

Answer 1

这是我谦虚的试验来解释这个...
第一张幻灯片尚未解释SVD与LS的关系。但是它说每当X是一个“标准”矩阵时，就可以用奇异矩阵（只有对角元素不为空）来转换问题 - 这对计算来说很方便。
幻灯片2显示了使用奇异矩阵进行的计算 解释在幻灯片3上：最小化r的范数相当于最小化其作为RSS的平方（因为x - > x * x是x> 0的增加函数）。最小化RSS：与最小化任何“好”函数相同，推导出它，然后将导数等于0。