深度学习网络概述

时间:2016-11-02 11:01:32

标签: deep-learning

我是深度学习的新手,并且被许多不同的网络及其应用领域所震撼。因此,我想知道是否存在某种不同的网络,存在哪些关键特征以及它们具有何种目的。

例如,我知道与LeNet,ConvNet,AlexNet相关 - 并且它们是相同但仍然不同?

2 个答案:

答案 0 :(得分:1)

它们是相同类型的网络。卷积神经网络。概述的问题是,一旦你发布了它已经过时的东西。你描述的大多数网络已经老了,即使它们只有几年的历史。

然而,您可以查看caffe(https://github.com/BVLC/caffe/tree/master/models)提供的网络。

在我个人看来,深度学习中最重要的概念是循环网络(https://keras.io/layers/recurrent/),剩余连接,初始块(参见https://arxiv.org/abs/1602.07261)。其余的主要是理论概念,不适合堆栈溢出答案。

答案 1 :(得分:1)

基本上有两种类型的神经网络,监督无监督学习。两者都需要一套“学习”的训练集。想象培训集作为大量书籍,您可以学习特定信息。在监督学习中,本书提供了答案密钥,但没有解决方案手册,相反,无监督学习没有答案密钥或解决方案手册。但目标是相同的,即在问题和答案(监督学习)和问题(无监督学习)之间找到模式。

现在我们区分这两者,我们可以进入模型。让我们来讨论有监督学习,它基本上有3个主要模型:

  • 人工神经网络(ANN)

  • 卷积神经网络(CNN)

  • 递归神经网络(RNN)

ANN是这三者中最简单的。我相信你已经明白了,所以我们可以向CNN迈进。

基本上在CNN,您所要做的就是将我们的输入与特征检测器进行卷积。特征检测器是具有(行,列,深度(特征检测器的数量)的维度的矩阵。卷积我们的输入的目的是提取与空间数据相关的信息。假设您想要区分猫和狗。猫有但是狗也没有。猫也有不同的眼睛等等。但缺点是,卷积层越多,计算时间就越慢。为了缓解这种情况,我们做了一些称为汇集的处理下采样。基本上,这会减少特征检测器的大小,同时最大限度地减少丢失的特征或信息。然后下一步将展平或将所有这些3d矩阵压缩成( n,1)维度,因此您可以将其输入到ANN中。然后下一步是自解释的,这是正常的ANN。因为CNN本身能够检测某些特征,所以它主要(可能总是)用于分类,例如图像分类,时间序列clas sification,甚至视频分类。有关CNN的速成班,请查看Siraj Raval的video。他是我最喜欢的youtuber!

可以说是三者中最复杂的, RNN 最好被描述为具有“记忆”的神经网络,通过在其中引入“循环”,允许信息持续存在。为什么这很重要?在您阅读本文时,您的大脑会使用以前的记忆来理解所有这些信息。你似乎没有再从头开始重新思考一切,这就是传统的神经网络所做的,即忘记一切并重新学习。但原生RNN无效,所以当人们谈论 RNN 时,他们大多指的是 LSTM ,它代表长期短期记忆。如果这看起来让您感到困惑,Cristopher Olah会以非常简单的方式给您深入解释。我建议您查看他的链接,以便完全了解 RNN ,尤其是 LSTM 变体

至于无监督学习,我很抱歉我没有时间学习它们,所以这是我能做的最好的。祝你好运,玩得开心!