为什么从初始ReLU层获取预激活的ResNet块(降维)的身份输出?

时间:2019-10-25 15:49:42

标签: deep-learning computer-vision resnet

因此,我正在研究预激活的ResNet块的Keras实现,并发现了一些有趣的东西。在负责降维的块中,该块的身份路径的输入取自第一CONV层的ReLU预激活层,而不是来自剩余块as shown in this figure

这种类型的连接是否违反“身份”快捷方式范例?在这里,我们在层的末尾进行最后的添加操作之前,将非线性添加到块的输入中。那么为什么要使用这种方法呢?

0 个答案:

没有答案