主要分量分析和总散射矩阵的决定因素

Question

大家好我正在读一篇论文Eigenfaces vs. Fisherfaces：使用类特定线性投影的识别，我想知道为什么在PCA中选择投影W来最大化总散射的行列式投影样本的矩阵，即arg max | W ^ T S_T W |（以乳胶形式），其中S_T是原始数据集的散射矩阵。 非常感谢！

Answer 1

如果我们注意到矩阵的特征值可以使用特征方程从行列式中找到，那么该表达式是有意义的。

（PCA快速审查）

您可能已经知道，因为我们正在执行S_T的主成分分析（PCA），我们的目标是找到对角矩阵B，以便

B = W^(T) * S_T * W

W^(T)是W的转置。对角矩阵B的元素是特征值，W的列向量是特征向量。这为我们提供了我们寻求的主要组件。

回到特征方程：

矩阵的行列式可用于从特征方程中找出其特征值。直接从维基百科引用：

  

     

（我是身份矩阵）。由于v非零，这意味着矩阵I-A是单数的，这反过来意味着它的行列式是0（不可逆）。因此，函数det( I − A)的根是A ...

的特征值      

http://en.wikipedia.org/wiki/Characteristic_polynomial

因此，通过最大化行列式或找到它的根，您就能找到特征值。

了解更多：

http://en.wikipedia.org/wiki/Determinant#Relation_to_eigenvalues_and_trace http://en.wikipedia.org/wiki/Eigenvalues_and_eigenvectors