为什么我们在ResNet中使用身份层？

Question

据我了解，Resnet具有一些标识层，其任务是创建与该层的输入相同的输出。但是这项工作有什么用？像这样添加图层有什么好处？ 任何帮助将不胜感激

Answer 1

创建ResNet架构的唯一目的是解决由逐渐消失的梯度引起的更深层网络中的精度下降/饱和的问题。身份层或跳过连接有助于防止此问题，因为一层很容易学习输入等于输出即f（x）= x的线性函数。现在，ResNet的性能比其他体系结构要好得多，而Andrew Ng在他的课程中指出的一个原因是，跳过连接非常容易地学习f（x）= x的功能，如果幸运的话，他们有时会学习该功能以及其他功能，对网络提取最终特征很有帮助。