深度CNN与密集CNN之间的区别

Question

我知道这可能是一个愚蠢的问题，但对于机器学习和ANN来说是一种新事物。

深度卷积神经网络和密集卷积神经网络之间有区别吗？

谢谢！

Answer 1

密集CNN是一种深度CNN，其中每一层都与比其深的另一层相连。

那是什么意思？

在正常的CNN中，每层仅与其同级连接。考虑4层，L1的输出仅连接到L2，L2的输出仅连接到L3，L3的输出仅连接到L4。

在密集的CNN中，考虑4层，L1的输出连接到L2，L3，L4，L2的输出连接到L3，L4，L3的输出连接到L4。

下面是一张说明它的图（图像来源来自this纸）：

为什么我们需要这样做？

如今，我们拥有100层甚至更多层的神经网络。使用反向传播训练神经网络。在该算法中，成本函数的梯度（导数）用于更新每层的权重。对于每个新层，渐变的值都会减小，尤其是在使用S型曲线的情况下。这导致训练时间更长，有时甚至根本不训练。这个问题也称为消失梯度。 Dense CNN中的直接连接解决了这个问题。

与普通的CNN相比，密集的CNN也不太容易过拟合。

要获取更多this的论文，很容易理解。