深度CNN与密集CNN之间的区别

时间:2019-03-28 21:13:00

标签: machine-learning neural-network deep-learning conv-neural-network

我知道这可能是一个愚蠢的问题,但对于机器学习和ANN来说是一种新事物。

深度卷积神经网络和密集卷积神经网络之间有区别吗?

谢谢!

1 个答案:

答案 0 :(得分:2)

密集CNN是一种深度CNN,其中每一层都与比其深的另一层相连。

那是什么意思?

在正常的CNN中,每层仅与其同级连接。考虑4层,L1的输出仅连接到L2,L2的输出仅连接到L3,L3的输出仅连接到L4。

在密集的CNN中,考虑4层,L1的输出连接到L2,L3,L4,L2的输出连接到L3,L4,L3的输出连接到L4。

下面是一张说明它的图(图像来源来自this纸):

enter image description here

为什么我们需要这样做?

如今,我们拥有100层甚至更多层的神经网络。使用反向传播训练神经网络。在该算法中,成本函数的梯度(导数)用于更新每层的权重。对于每个新层,渐变的值都会减小,尤其是在使用S型曲线的情况下。这导致训练时间更长,有时甚至根本不训练。这个问题也称为消失梯度。 Dense CNN中的直接连接解决了这个问题。

与普通的CNN相比,密集的CNN也不太容易过拟合。

要获取更多this的论文,很容易理解。