线性判别分析逆变换

Question

我尝试使用scikit-learn库中的Linear Discriminant Analysis，以便对具有200多个功能的数据执行降维。但我在LDA类中找不到inverse_transform函数。

我只是想问一下，如何从LDA域中的某个点重建原始数据？

编辑基于@bogatron和@kazemakase的回答：

我认为术语＆＃34;原始数据＆＃34;是错的，我应该使用＆＃34;原始坐标＆＃34;或者＆＃34;原始空间＆＃34;。我知道没有所有PCA我们都无法重建原始数据，但是当我们构建形状空间时，我们会在PCA的帮助下将数据投影到较低维度。 PCA尝试用只有2或3个组件解释数据，这些组件可以捕获数据的大部分方差，如果我们重建数据库，它应该向我们展示导致这种分离的形状部分。

我再次检查了scikit-learn LDA的源代码，我发现特征向量存储在scalings_变量中。当我们使用svd求解器时，它不可能反转特征向量（scalings_）矩阵，但是当我尝试矩阵的伪逆时，我可以重建形状。 / p>

这里有两个图像分别从[4.28,0.52]和[0,0]点重建：

我认为，如果有人深入解释LDA逆变换的数学限制，那将会很棒。

Answer 1

没有逆变换，因为通常情况下，您无法从较低维度的特征空间返回到原始坐标空间。

把它想象成看着投射在墙上的二维阴影。您无法从单个阴影返回到三维几何体，因为在投影过程中信息会丢失。

要解决有关PCA的评论，请考虑10个随机三维向量的数据集：

In [1]: import numpy as np

In [2]: from sklearn.decomposition import PCA

In [3]: X = np.random.rand(30).reshape(10, 3)

现在，如果我们应用主成分转换（PCT）并通过仅保留前2（三分之一）PC来应用维数减少，然后应用逆变换会发生什么？

In [4]: pca = PCA(n_components=2)

In [5]: pca.fit(X)
Out[5]: 
PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,
  svd_solver='auto', tol=0.0, whiten=False)

In [6]: Y = pca.transform(X)

In [7]: X.shape
Out[7]: (10, 3)

In [8]: Y.shape
Out[8]: (10, 2)

In [9]: XX = pca.inverse_transform(Y)

In [10]: X[0]
Out[10]: array([ 0.95780971,  0.23739785,  0.06678655])

In [11]: XX[0]
Out[11]: array([ 0.87931369,  0.34958407, -0.01145125])

显然，逆变换没有重建原始数据。原因是通过放弃最低的PC，我们丢失了信息。接下来，让我们看看如果我们保留所有 PC会发生什么（即，我们不应用任何降维）：

In [12]: pca2 = PCA(n_components=3)

In [13]: pca2.fit(X)
Out[13]: 
PCA(copy=True, iterated_power='auto', n_components=3, random_state=None,
  svd_solver='auto', tol=0.0, whiten=False)

In [14]: Y = pca2.transform(X)

In [15]: XX = pca2.inverse_transform(Y)

In [16]: X[0]
Out[16]: array([ 0.95780971,  0.23739785,  0.06678655])

In [17]: XX[0]
Out[17]: array([ 0.95780971,  0.23739785,  0.06678655])

在这种情况下，我们能够重建原始数据，因为我们没有丢弃任何信息（因为我们保留了所有的PC）。

LDA的情况更糟糕，因为可以保留的最大组件数不是200（输入数据的功能数量）;相反，您可以保留的最大组件数为n_classes - 1。因此，例如，如果您正在进行二进制分类问题（2个类），则LDA变换将从200个输入维度下降到仅一个维度。

Answer 2

由于丢失了大量信息，LDA的反转并不一定有意义。

为了比较，考虑PCA。这里我们得到一个用于转换数据的系数矩阵。我们可以通过从矩阵中删除行来减少维数。为了得到逆变换，我们首先反转完整的矩阵，然后删除与删除的行相对应的列。

LDA没有给我们一个完整的矩阵。我们只得到一个不能直接反转的简化矩阵。可以采用伪逆，但这比我们拥有完整矩阵的效率低得多。

考虑一个简单的例子：

C = np.ones((3, 3)) + np.eye(3)  # full transform matrix
U = C[:2, :]  # dimensionality reduction matrix
V1 = np.linalg.inv(C)[:, :2]  # PCA-style reconstruction matrix
print(V1)
#array([[ 0.75, -0.25],
#       [-0.25,  0.75],
#       [-0.25, -0.25]])

V2 = np.linalg.pinv(U)  # LDA-style reconstruction matrix
print(V2)
#array([[ 0.63636364, -0.36363636],
#       [-0.36363636,  0.63636364],
#       [ 0.09090909,  0.09090909]])

如果我们有完整矩阵，我们得到的逆变换（V1）与我们简单地反转变换（V2）相比。 这是因为在第二种情况下，我们丢失了有关丢弃组件的所有信息。

你被警告过了。如果你仍然想要进行逆LDA变换，这里有一个函数：

import matplotlib.pyplot as plt

from sklearn import datasets
from sklearn.decomposition import PCA
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis

from sklearn.utils.validation import check_is_fitted
from sklearn.utils import check_array, check_X_y

import numpy as np


def inverse_transform(lda, x):
    if lda.solver == 'lsqr':
        raise NotImplementedError("(inverse) transform not implemented for 'lsqr' "
                                  "solver (use 'svd' or 'eigen').")
    check_is_fitted(lda, ['xbar_', 'scalings_'], all_or_any=any)

    inv = np.linalg.pinv(lda.scalings_)

    x = check_array(x)
    if lda.solver == 'svd':
        x_back = np.dot(x, inv) + lda.xbar_
    elif lda.solver == 'eigen':
        x_back = np.dot(x, inv)

    return x_back


iris = datasets.load_iris()

X = iris.data
y = iris.target
target_names = iris.target_names

lda = LinearDiscriminantAnalysis()
Z = lda.fit(X, y).transform(X)

Xr = inverse_transform(lda, Z)

# plot first two dimensions of original and reconstructed data
plt.plot(X[:, 0], X[:, 1], '.', label='original')
plt.plot(Xr[:, 0], Xr[:, 1], '.', label='reconstructed')
plt.legend()

你知道，逆变换的结果与原始数据没有太大关系（好吧，它可以猜测投影的方向）。相当一部分变化已经消失了。