Resnet的中间层是否还在学习？

Question

跳过连接允许我们从第152层一直到整个渐变，并通过CNN的第1层或第2层进行馈送。但是中间层呢？这些中间层的反向传播完全无关紧要，所以我们甚至可以在resnet中学习吗？

Answer 1

在这些中间层中进行反向传播并非完全无关紧要。中间层相关性的基本思想是，ResNet在添加新层时不断提高其错误率（从34层的5.71 top5错误增加到152的4.49 top5错误）。图像有很多奇异之处，微软公司的人们发现，当您解决消失的梯度问题（通过馈送）时，您可以在整个网络中通过更多层获得更多知识。

添加剩余块的想法是为了防止梯度消失的问题，当您获得太多层时...但是中间层也会在每个训练步骤中进行更新，并且它们也在学习（通常是级别功能）。

如果问题不太复杂，则具有很多层的卷积神经网络往往会过拟合，因为它的152层具有学习很多不同模式的能力。