卷积网络的训练方法是否仍被称为深度学习？

Question

在诸如ImageNet Classi fi cation with Deep Convolutional等论文中 神经网络

http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf

训练方法似乎是随机梯度下降的基本反向传播。

尽管CNN是深度神经网络的一部分，但纯粹是因为存在大量隐藏层？这是否意味着这里的backprop属于深度学习的范畴，因为网络很深，即使它不像DBN那样使用贪婪的分层训练，一种真正的深度学习技术？

感谢您的帮助和建议。

Answer 1

如果您阅读深度学习的维基百科页面，它说：“深度学习是基于一组算法的机器学习的一个分支，这些算法试图通过使用具有复杂结构的多个处理层来模拟数据中的高级抽象。否则，由多个非线性变换组成“。

CNN有多层非线性转换，因此有资格作为深度学习模型。

同样来自麻省理工学院的这本书http://www.deeplearningbook.org/ CNN也是深度学习模型的一部分。

在DBN和CNN之间存在一个重要的区别，第一个是无监督模型，另一个不是，除了一个使用DBN进行预初始化。

如果您阅读的是同时也是深度学习模型的RNN或LSTM，您会发现两者基本上都经过了反向传播的修改版本的训练，称为反向传播。

因此，请记住数据中模型高级抽象的多个非线性变换的概念。

深度学习也指不参加培训的模式。

Answer 2

根据我的知识

1个神经元和1个层 - ＆gt;被称为感知器

2个或更多个神经元，1层，1个输入 - >作为线的等式y = w * x + w0

2个或更多个神经元，1个层，多个输入实例 - ＆gt;超平面

当你将sigmoid功能添加到这些神经元激活的输出并将它们组合在另一个感知器或多个神经元中时，你会得到超平面的非线性组合。

使CNN被称为CNN而不是简单的深度神经网络的东西是你学习可以在图像的任何部分中的局部邻域权重。因此神经元激活之间存在权重分享过程。

• 假设您在1层中有N个不同的20x20灰度图像和5个隐藏单位，
• 如果你要实现一个完全连接的深度神经网络，你会尝试为第一个隐藏层学习400x5的权重矩阵 - 因此有2000个参数。作为输出，每个N图像都有5维向量。
• 但是在cnn结构中，你决定在这些20x20图像中合理的补丁尺寸，比如4x4，并学习5种不同的4x4权重 - 因此有80个参数。并且作为第一个隐藏层的输出，每个N图像将有5个不同的17x17图像。以另一种方式查看第一层的输出是每个N图像的1445维向量。因此，您可以学习更少的参数，但作为输出，您可以学习更多尺寸。

所以当我看你的问题时，

1. 如果只有1层，并且在该1个单层之后进行分类/回归，则不会将其称为DBN。但它仍然可以称为CNN，因为存在“卷积”和“神经网络”的概念。当然，只有1个单层，就没有“反向传播”。

2. 当存在多于一层时，需要反向传播。因为这个概念是能够在没有“真实/预期输出”的情况下反向传播一些错误，我们可以在中间层看到它们。我们只有最后一层的基本事实，我们有回归/分类。因此，如果我正确理解你的问题，那么backprop属于深层网络类别。

3. 我们不能说'CNN不遵循与DBN相同的模式'。因为它们当然是具有权重共享功能的DBN。

我希望这能回答你的问题。另外我认为在这里指出DBN和DNN之间的区别会很好。

从其他网站（https://www.quora.com/Deep-Learning/What-are-the-difference-and-relevance-between-DNN-and-DBN）

引用

“Deep Belief Networks基于无监督数据构建信念（实例之间的可能性关系），然后在提供监督数据时将这些关系应用于问题。

基本上，学习无人监督，有更多数据可供学习，然后用于解决问题。

深度神经网络只是大型多层神经网络。“

Answer 3

深度学习技术是人工智能的最新技术特定卷积神经网络（CNN）在模式识别，对象或人脸识别方面非常有效许多库可用于CNN，如 Itorch ， theano ，数字等 深入理解神经网络和深度学习click here