Question

我正在训练在python上做一些MNIST的PCA重建，并将它们与我在maltab中的（旧）重建进行比较，我碰巧发现我的重建并不一致。经过一些调试后，我决定打印每个主要组件的独特特征，以揭示它们是否相同，我惊讶地发现它们不相同。我打印所有组件的总和，我得到不同的数字。我在matlab中做了以下内容：

[coeff, ~, ~, ~, ~, mu] = pca(X_train);
U = coeff(:,1:K)
U_fingerprint = sum(U(:)) 
%print 31.0244

并在python / scipy中：

pca = pca.fit(X_train)
U = pca.components_
print 'U_fingerprint', np.sum(U)
# prints 12.814

为什么twi PCA没有计算相同的值？

我所有的尝试和解决这个问题：

我发现这一点的方式是因为当我重建我的MNIST图像时，python重建的位置与原始图像的距离要大得多。我在python中遇到了0.0221556788645的错误，而在MATLAB中我遇到了大小为29.07578的错误。为了弄清楚差异来自哪里，我决定用指纹打印数据集（也许它们的标准化方式不同）。所以我有两个独立的副本MNIST数据集（通过划分我的255进行归一化）并获得指纹（对数据集中的所有数字求和）：

print np.sum(x_train) # from keras
print np.sum(X_train)+np.sum(X_cv) # from TensorFlow
6.14628e+06
6146269.1585420668

（基本上）相同（来自tensorflow MNIST的一个副本和来自Keras MNIST的另一个副本，注意MNIST列车数据集具有大约1000个较少的训练集，因此您需要附加缺失的训练集）。令我惊讶的是，我的MATLAB数据具有相同的指纹：

data_fingerprint = sum(X_train(:))
% prints data_fingerprint = 6.1463e+06

意味着数据集完全相同。很好，因此规范化数据不是问题。

在我的MATLAB脚本中，我实际上是手动计算重建，如下所示：

U = coeff(:,1:K)
X_tilde_train = (U * U' * X_train);
train_error_PCA = (1/N_train)*norm( X_tilde_train - X_train ,'fro')^2
%train_error_PCA = 29.0759

所以我认为这可能是问题所在，因为我使用python接口来计算重建，如下所示：

pca = PCA(n_components=k)
pca = pca.fit(X_train)
X_pca = pca.transform(X_train) # M_train x K
#print 'X_pca' , X_pca.shape
X_reconstruct = pca.inverse_transform(X_pca)
print 'tensorflow error: ',(1.0/X_train.shape[0])*LA.norm(X_reconstruct_tf - X_train)
print 'keras error: ',(1.0/x_train.shape[0])*LA.norm(X_reconstruct_keras - x_train)
#tensorflow error:  0.0221556788645
#keras error:  0.0212030354818

导致不同的误差值0.022 vs 29.07，令人震惊的差异！

因此，我决定在我的python脚本中编写精确的重建公式：

pca = PCA(n_components=k)
pca = pca.fit(X_train)
U = pca.components_
print 'U_fingerprint', np.sum(U)
X_my_reconstruct = np.dot(  U.T , np.dot(U, X_train.T) )
print 'U error: ',(1.0/X_train.shape[0])*LA.norm(X_reconstruct_tf - X_train)
# U error:  0.0221556788645

令我惊讶的是，它与使用该接口的MNIST错误计算具有相同的错误。因此，得出的结论是，我认为我没有对PCA的误解。

所有这一切导致我检查主要组件实际上在哪里和我的惊喜scipy和MATLAB有不同的PCA值指纹。

有谁知道为什么或最近发生了什么？

正如沃伦所说，pca组件（特征向量）可能有不同的符号。通过添加幅度中的所有组件进行指纹后，我才发现它们具有相同的指纹：

[coeff, ~, ~, ~, ~, mu] = pca(X_train);
K=12;
U = coeff(:,1:K)
U_fingerprint = sumabs(U(:))
% U_fingerprint = 190.8430

和python：

k=12
pca = PCA(n_components=k)
pca = pca.fit(X_train)
print 'U_fingerprint', np.sum(np.absolute(U))
# U_fingerprint 190.843

这意味着差异必须是因为（pca）U向量的不同符号。我觉得非常令人惊讶，我认为这应该会产生很大的不同，我甚至认为它没有产生很大的影响。我猜我错了？

Answer 1

我不知道这是不是问题，但肯定可以。主成分向量类似于特征向量：如果将向量乘以-1，它仍然是有效的PCA向量。由matlab计算的一些向量可能与在python中计算的向量具有不同的符号。这将产生非常不同的总和。

例如，matlab文档有这个例子：

 coeff = pca(ingredients)

 coeff =

   -0.0678   -0.6460    0.5673    0.5062
   -0.6785   -0.0200   -0.5440    0.4933
    0.0290    0.7553    0.4036    0.5156
    0.7309   -0.1085   -0.4684    0.4844

我有自己的python PCA代码，并且使用与matlab相同的输入，它会产生这个系数数组：

[[ 0.0678  0.646  -0.5673  0.5062]
 [ 0.6785  0.02    0.544   0.4933]
 [-0.029  -0.7553 -0.4036  0.5156]
 [-0.7309  0.1085  0.4684  0.4844]]

因此，不是简单地对系数数组求和，而是尝试对系数的绝对值求和。或者，在求和之前，确保所有向量具有相同的符号约定。你可以这样做，比如说，将每列乘以该列中第一个元素的符号（假设它们都不为零）。

为什么Scipy和MATLAB的主成分值不一致？

1 个答案: