主成分分析与特征移除

Question

我对机器学习很陌生，刚刚介绍了主成分分析作为降维方法。我不明白，在哪种情况下PCA比简单地从模型中删除一些功能更好？如果目标是获得较低维度的数据，为什么我们不将这些相关的特征分组并保留每个组中的一个特征？

Answer 1

功能减少（例如PCA）和功能选择（您描述的）之间存在根本区别。关键的区别在于特征缩减（PCA）通过一些所有原始维度的投影将数据映射到较低维度，例如PCA使用每个维度的线性组合。因此，最终数据嵌入包含来自所有功能的信息。如果您执行功能选择 丢弃信息，则会完全丢失那里出现的任何内容。此外，PCA保证您保留给定的数据差异部分。