为什么激活功能先于DenseNet卷积？

Question

在DenseNet论文中说：

  

表中显示的每个“转换”层对应于序列BN-ReLU-Conv。

为什么relu激活先于卷积？预先感谢！

Answer 1

本文讨论了预激活Resnet-101。预激活架构是他们使用BN-ReluConv的地方。 《深度残差网络中的身份映射》-https://arxiv.org/pdf/1603.05027.pdf

中已证明它可以提高Resnet的性能。