为什么神经网络的隐藏状态不能提供比原始输入更好的降维结果？

Question

我刚读了一篇很棒的帖子here。我对＆＃34;图像的一个例子＆＃34;的内容感到好奇。在那篇文章中。如果隐藏状态意味着原始图片的许多特征并且越来越接近最终结果，那么使用隐藏状态的降维应该提供比原始原始像素更好的结果，我认为。

因此，我尝试了mnist数字，其中包含2个256单位NN的隐藏层，使用T-SNE进行降维;结果远非理想。从左到右，从顶部到机器人，它们是原始像素，第二个隐藏层和最终预测。任何人都可以解释一下吗？

BTW，该模型的准确度约为94.x％。

Answer 1

你有10个类，正如你所提到的，你的模型在这个数据集上运行良好 - 所以在这个256维空间中 - 使用线性子空间很好地分离了类。

那么为什么T-SNE预测没有这个属性？

我想到的一个微不足道的答案是将高维度集投影到二维可能会失去线性分离属性。考虑以下示例：一个山峰，其中一个类位于其峰值，第二个类别位于较低的高度水平周围。在三维空间中，这些类很容易被一个平面分开，但是人们可以很容易地找到一个没有该属性的二维投影（例如，你忽略 height 维度的投影）。

当然T-SNE不是这样的线性投影，但它的主要目的是保留局部数据结构，因此在使用这种方法时，线性分离属性等一般属性可能很容易被丢失。