为什么要提取特征

Question

在模式识别中，为什么重要的特征提取？为什么我们要减少功能空间？只是一个计算问题或这个程序提高了分类器的泛化能力吗？

Answer 1

两者：较小的特征空间（显然？）更容易处理，并且消除不重要的细节会删除需要在“周围”进行概括的内容。

Answer 2

特征提取不仅仅与计算复杂性有关。对于固定数量的训练样本，如果特征的数量变得足够大，则分类器的性能可以显着降低。请参阅Curse of Dimensionality。

作为一个实际案例，请考虑使用多元正态统计量（均值和协方差）的分类器。对于N训练样本和k要素，协方差矩阵对于N < k将变为单数。因此，如果不能增加样本数量，则必须减少特征数量才能使用分类器。