关于PCA降维的问题

Question

在机器学习中，PCA用于降低训练数据的维度。但是，从上面的图片中，我无法理解减少的位置在哪里？

输入数据x_i具有D维：

输出数据x仍具有D维：

Answer 1

这里的关键因素是误解了什么是输出，在这个伪代码中输出是 y （等式29），而不是 x （等式30），因此你确实将数据减少到d维度，最后的等式表明如果你想将返回移动到原始空间，你可以做到（显然数据会被恢复错误，因为与此同时，我们在转向d维时丢弃了大量信息。

Answer 2

使用PCA时要理解的重要事项是协方差矩阵C(x)及其相应的频谱分解。获得的eigenvalues和eigenvector分解用于降低维数。

对于D维度训练集，我们有D个特征值及其对应的特征向量。但在实践中（特别是与图像相关的应用），许多特征向量是相关的;换句话说，其中许多是冗余基础向量。因此，从基础空间中丢弃这些向量不会导致重大信息丢失。

现在，如果您想将输入数据的维度从原始D缩减到d < D维，则可以将输入数据投影到d显性特征向量（来自{{ 1}}最大特征值）。 d将项目输入数据提供给Eq~29维度空间。 d用于重建原始数据;这里的重建误差取决于Eq~30（特征向量的数量）