卷积和递归神经网络有什么区别?

时间:2014-01-04 16:31:32

标签: neural-network difference recurrent-neural-network

我是神经网络主题的新手。我遇到了两个术语卷积神经网络递归神经网络

我想知道这两个术语是指同一个词,或者,如果不是,它们之间会有什么区别?

9 个答案:

答案 0 :(得分:41)

CNN和RNN之间的差异如下:

CNN:

  1. CNN采用固定大小的输入并生成固定大小的输出。

  2. CNN是一种前馈人工神经网络 - 是多层感知器的变体,旨在使用最少量的预处理。

  3. CNN利用其神经元之间的连接模式,受到动物视觉皮层组织的启发,动物视觉皮层的各个神经元的排列方式使它们能够响应覆盖视野的重叠区域。

    < / LI>
  4. CNN非常适合图像和视频处理。

  5. RNN:

    1. RNN可以处理任意输入/输出长度。

    2. RNN与前馈神经网络不同 - 可以使用内部存储器处理任意输入序列。

    3. 递归神经网络使用时间序列信息。也就是我最后说的话会影响我接下来会说的话。

    4. RNN是文本和语音分析的理想选择。

答案 1 :(得分:13)

卷积神经网络(CNN)旨在识别图像。它内部有旋圈,可以看到图像上识别出的物体边缘。设计递归神经网络(RNN)以识别序列,例如语音信号或文本。循环网络内部有循环,意味着网络中存在短暂内存。我们已经应用CNN以及RNN选择合适的机器学习算法来为BCI分类EEG信号:http://rnd.azoft.com/classification-eeg-signals-brain-computer-interface/

答案 2 :(得分:10)

显然我在这里有点晚了,但我想指出任何对神经网络感兴趣的人this article。它不仅可以很好地解释基础知识,而且如果您想深入挖掘,它还可以为您提供原始论文,同时解决当今所有最常见的神经网络架构。

ice.cube对每个

的主要用途做出了很好的回答

答案 3 :(得分:5)

这些架构完全不同,所以很难说“有什么区别”,因为唯一的共同点是它们都是神经网络。

Convolutional networks是具有重叠“接收字段”的网络,执行卷积任务。

Recurrent networks是具有重复连接的网络(与“正常”信号流相反的方向),在网络拓扑中形成周期

答案 4 :(得分:2)

这是CNN和RNN之间的区别

卷积神经网络:

在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。 ...它们在图像和视频识别,推荐系统,图像分类,医学图像分析和自然语言处理中具有应用。

递归神经网络:

递归神经网络(RNN)是一类人工神经网络,其中节点之间的连接沿时间序列形成有向图。这使其表现出时间动态行为。与前馈神经网络不同,RNN可以使用其内部状态(内存)来处理输入序列。

答案 5 :(得分:1)

首先,我们需要知道递归NN与经常性NN不同。 根据维基的定义,

  

递归神经网络(RNN)是一种通过在结构上递归应用相同的权重集而创建的一种深度神经网络

从这个意义上讲,CNN是一种递归NN。 另一方面,循环NN是一种基于时间差的递归NN。 因此,在我看来,CNN和经常性NN是不同的,但两者都来自递归NN。

答案 6 :(得分:1)

除了其他人之外,在CNN中我们通常使用沿轴的2d平方滑动窗口和卷积(具有原始输入2d图像)来识别图案。

在RNN中,我们使用先前计算的内存。如果您有兴趣可以看一下,LSTM(长短期记忆)是一种特殊的RNN。

CNN和RNN都有一个共同点,因为它们可以检测模式和序列,也就是说,您可以对单个输入数据位进行随机播放。

答案 7 :(得分:0)

用于计算机视觉的卷积神经网络(CNN)和用于自然语言处理的循环神经网络(RNN)。

虽然这可以应用于其他领域,但RNN的优势在于网络可以通过在网络中引入环路来使信号在两个方向上传播。

反馈网络功能强大,可能会非常复杂。从先前输入得到的计算被反馈到网络中,这为它们提供了一种存储器。反馈网络是动态的:他们的状态不断变化,直到达到平衡点。

答案 8 :(得分:0)

首先描述卷积和递归层会更有帮助。

卷积层:

包括输入,一个或多个过滤器(以及子采样)。

输入可以是一维或n维(n> 1),例如,它可以是二维图像。在每一层中还定义了一个或多个过滤器。输入与每个过滤器卷积。卷积的方法几乎类似于图像处理中滤波器的卷积。通常,本节的目的是从输入中提取每个过滤器的功能。每个卷积的输出称为特征图。

例如,考虑对水平边缘使用滤镜,并且将其与输入进行卷积的结果是提取输入图像的水平边缘。通常,在实践中,尤其是在第一层中,定义了大量的过滤器(例如,一层中有60个过滤器)。同样,在卷积之后,通常会执行子采样操作,例如,选择两个邻域值各自的最大值或平均值。

卷积层允许从输入中提取重要的特征和模式。并删除输入数据依存关系(线性和非线性)。

[下图显示了使用卷积层和模式提取进行分类的示例。] [1]

[1]:https://i.stack.imgur.com/HS4U0.png [Kalhor,A.(2020)。分类和回归神经网络。演讲。]

卷积层的优点:

  • 能够删除相关性并减小输入尺寸

  • 网络泛化正在增加

  • 网络健壮性随变化而增强,因为它提取关键特征

  • 功能强大且广泛用于监督学习中

  • ...

循环图层:

在这些层中,当前层的输出或下一层的输出也可以用作该层的输入。它还可以接收时间序列作为输入。

不使用递归层的输出如下(一个简单的示例):

y = f(W * x)

在输入x的情况下,W是重量,f是激活函数。

但是在循环网络中,可能如下:

y = f(W * x)
y = f(W * y)
y = f(W * y)
... until convergence

这意味着在这些网络中,生成的输出可用作输入,因此具有存储网络。递归网络的某些类型是离散Hopfield网络和递归自关联网络,它们是简单网络或复杂网络,例如LSTM。

An example is shown in the image below.

循环图层的优点:

  • 它们具有存储功能

  • 他们可以使用时间序列作为输入。

  • 他们可以将生成的输出用于以后使用。

  • 非常用于机器翻译,语音识别,图像描述

  • ...

使用卷积层的网络称为卷积网络(CNN)。类似地,使用循环层的网络称为循环网络。根据所需的应用,也可以在网络中同时使用这两个层!