我正在使用here的输入数据（参见第3.1节）。
我正在尝试使用scikit-learn重现它们的协方差矩阵，特征值和特征向量。但是，我无法重现数据源中显示的结果。我也在其他地方看过这个输入数据，但是我无法辨别它是scikit-learn，我的步骤还是数据源的问题。
data = np.array([[2.5,2.4],
[0.5,0.7],
[2.2,2.9],
[1.9,2.2],
[3.1,3.0],
[2.3,2.7],
[2.0,1.6],
[1.0,1.1],
[1.5,1.6],
[1.1,0.9],
])
centered_data = data-data.mean(axis=0)
pca = PCA()
pca.fit(centered_data)
print(pca.get_covariance()) #Covariance Matrix
array([[ 0.5549, 0.5539],
[ 0.5539, 0.6449]])
print(pca.explained_variance_ratio_) #Eigenvalues (normalized)
[ 0.96318131 0.03681869]
print(pca.components_) #Eigenvectors
[[-0.6778734 -0.73517866]
[ 0.73517866 -0.6778734 ]]
令人惊讶的是，这些预测与上述数据源的结果相符。
print(pca.transform(centered_data)) #Projections
array([[-0.82797019, 0.17511531],
[ 1.77758033, -0.14285723],
[-0.99219749, -0.38437499],
[-0.27421042, -0.13041721],
[-1.67580142, 0.20949846],
[-0.9129491 , -0.17528244],
[ 0.09910944, 0.3498247 ],
[ 1.14457216, -0.04641726],
[ 0.43804614, -0.01776463],
[ 1.22382056, 0.16267529]])
这是我不明白的地方：
答案 0 :(得分：15)
更正此数据的协方差矩阵：
numpy.cov(data.transpose())
array([[ 0.61655556, 0.61544444], [ 0.61544444, 0.71655556]])
有偏差（即“不正确”，使用错误的归一化项，并低估数据集中的方差）协方差矩阵：
numpy.cov(data.transpose(), bias=1)
array([[ 0.5549, 0.5539], [ 0.5539, 0.6449]])
Numpy知道你必须集中数据 - 所以你不需要centered_data。
PCA组件不 1：1的特征值。
正确的特征值分解：
numpy.linalg.eig(numpy.cov(data.transpose()))
(array([ 0.0490834 , 1.28402771]), array([[-0.73517866, -0.6778734 ], [ 0.6778734 , -0.73517866]]))
使用偏差估计量会产生不同的特征值（同样，低估方差），但相同的特征向量：
(array([ 0.04417506, 1.15562494]), ...
请注意，特征向量尚未按最大特征值排序。
正如pca.explained_variance_ratio_的名称所示，这些不是特征值。他们是比例。如果我们采用（有偏见的，低估的）特征值，并将它们归一化为1，我们得到
s/sum(s)
array([ 0.03681869, 0.96318131])
此外，scipy的pca.transform方法显然不应用缩放。恕我直言，当使用PCA时，将每个组件缩放以具有单位方差也是相当普遍的。这显然不适用于此输出。然后结果是（交换了两列，我没有费心去改变它）
s, e = numpy.linalg.eig(numpy.cov(data.transpose()))
o=numpy.argsort(s)[::-1]
(data-mean).dot(e[:,o]) / numpy.sqrt(s[o])
array([[-0.73068047, -0.79041795], [ 1.56870773, 0.64481466], [-0.87561043, 1.73495337], [-0.24198963, 0.58866414], [-1.47888824, -0.94561319], [-0.80567404, 0.79117236], [ 0.08746369, -1.57900372], [ 1.01008049, 0.20951358], [ 0.38657401, 0.08018421], [ 1.08001688, -0.73426743]])
（正如你所看到的，PCA只是numpy中的三行，所以你不需要这个函数。）
为什么我认为这是正确的结果？因为结果数据集具有协方差矩阵（除了舍入误差） identity 矩阵的属性。
没有缩放，协方差矩阵是numpy.diag(s[o])。但也有人可能会争辩说，通过应用缩放，我“丢失”了本来会保留的方差信息。
scipy正在使用错误的（有偏见的）协方差。 numpy是正确的。但通常情况下，这并不重要。在上述比率中，偏差抵消了。如果你有一个大数据集，使用天真1/n和无偏1/(n-1)之间的差异最终会变得无效。但是，差异在于实际上零CPU成本，所以你也可以使用无偏差方差估计。
答案 1 :(得分：1)
对（1）的简短回答是，当您将PCA应用于您的贬值数据时，您已将其旋转，并且新的向量空间表示具有不同协方差的新随机变量。 （2）的答案是，如果你想要非标准化的特征值，只需要特征性地分解数据的协方差矩阵。
更多信息：
使用scipy计算特征值：http://docs.scipy.org/doc/numpy/reference/generated/numpy.linalg.eigvals.html
您可以改为计算数据矩阵的SVD（非协方差）并查看奇异值： http://docs.scipy.org/doc/numpy/reference/generated/numpy.linalg.svd.html
显然，scikit-learn有不同的SVD风格，你可能想尝试。