究竟Geoff hinton的深层信仰网络从图像中提取，同时训练他的手写数字识别系统？

Question

hinton创建并致力于handwritten digit recognition system我想知道他从图像中提取的内容是什么？我完成了他的工作我所看到的是他将图像转换成二进制图像，之后我无法理解他从图像中提取特征的方式。请帮我理解这个

Answer 1

深度学习与功能工程无关。 Hinton工作的重点是不设计任何功能。系统在原始图像上训练（只是二值化），这就是全部。其他所有内容都是在深度训练过程中完全自动完成的（在他的情况下，使用受限制的Boltzmann机器堆栈进行多层无监督数据表示学习）。系统自学的是多级表示，基于图像的几何特征（从角落，直线到形状）。

Answer 2

如前所述，深度学习的子域（或交集）名为Representation Learning（或Feature Learning）。实际上，这些尝试学习有意义的输入数据表示。在无监督学习的情况下，当人们可以获得大量未标记数据时，它尤其有用，但获取标记数据的费用很高。

处理无监督特征学习的深度学习模型之一是AutoEncoder（基本上是神经网络，其中一些约束预测它的输入）。在几乎所有关于AutoEncoders的论文中，您都可以找到这些图片（来自Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion的图片）：

这张图片是什么意思：假设你有一个带有图像原始像素的NN（在这种情况下它被一些噪声破坏，请记住约束！）作为它的输入层并预测相同的图像（也就是说，它在输出层中具有与输入层中一样多的节点，但现在它们没有被破坏）。然后你在隐藏层中有一些神经元连接到所有输入节点，也就是说每个像素都有一个参数。将所有这些参数组合在一起，我们得到另一个图像，作为学习特征的可视化。基本上，隐藏的神经元所做的是过滤输入图像以提取一个特定的特征。我们希望过滤器暴露一些变化和结构以便有用（这就是为什么图片中的情况是坏的，b和c更好）。