每个组件的差异说明

Question

我想看看PCA如何处理我的数据。

我在训练集上应用了PCA，并使用返回的pca对象在测试集上进行了转换。 pca对象具有变量pca.explained_variance_ratio_，该变量告诉我训练集的每个选定组件所解释的方差百分比。应用pca转换后，我想看看它在测试集上的效果如何。我尝试过inverse_transform()来返回原始值的样子，但是我无法比较它在训练组和测试组上的工作方式。

pca = PCA(0.99)
pca.fit(train_df)  
tranformed_test = pca.transform(test_df)
inverse_test = pca.inverse_transform(tranformed_test)
npt.assert_almost_equal(test_arr, inverse_test, decimal=2)

这将返回：

数组几乎不等于2位小数

在pca.explained_variance_ratio_之后是否有类似transform()的东西？

Answer 1

每个组件的差异说明

您可以手动计算。如果分量X_i是正交的（在PCA中就是这种情况），则X_i中X的解释方差为：1 - ||X_i - X||^2 / ||X - X_mean||^2

出现以下示例：

import numpy as np
from sklearn.decomposition import PCA

X_train = np.random.randn(200, 5)
X_test = np.random.randn(100, 5)
model = PCA(n_components=5).fit(X_train)

def explained_variance(X):
    result = np.zeros(model.n_components)
    for ii in range(model.n_components):
        X_trans = model.transform(X)
        X_trans_ii = np.zeros_like(X_trans)
        X_trans_ii[:, ii] = X_trans[:, ii]
        X_approx_ii = model.inverse_transform(X_trans_ii)

        result[ii] = 1 - (np.linalg.norm(X_approx_ii - X) /
                          np.linalg.norm(X - model.mean_)) ** 2
    return result


print(model.explained_variance_ratio_)
print(explained_variance(X_train))
print(explained_variance(X_test))
# [0.25335711 0.23100201 0.2195476  0.15717412 0.13891916]
# [0.25335711 0.23100201 0.2195476  0.15717412 0.13891916]
# [0.17851083 0.199134   0.24198887 0.23286815 0.14749816]

总方差解释

或者，如果您只关心所说明的总方差，则可以使用r2_score：

from sklearn.metrics import r2_score

model = PCA(n_components=2).fit(X_train)
print(model.explained_variance_ratio_.sum())
print(r2_score(X_train, model.inverse_transform(model.transform(X_train)),
               multioutput='variance_weighted'))
print(r2_score(X_test, model.inverse_transform(model.transform(X_test)),
               multioutput='variance_weighted'))
# 0.46445451252373826
# 0.46445451252373815
# 0.4470229486590848

有没有一种方法可以计算出测试集上PCA的解释方差？

1 个答案:

每个组件的差异说明

总方差解释