假设您有ResNet 34或50(我检查了这些体系结构,v1:conv2d-> batchnorm-> relu)。
实现剩余连接:仅在瓶颈上应用投影快捷方式,在其他情况下进行简单添加(原始文章https://arxiv.org/pdf/1512.03385.pdf的选项B,第3.3段“剩余网络”)。
此投影快捷方式变型列表中的哪一项将导致不可能培训ResNet34 / 50? :
1)仅通过卷积的投影快捷方式
2)通过conv-> batchnorm
3)通过conv-> batchnorm-> relu
我将标记为真实答案(与我的经验相匹配或有很强的论据),并编辑我的帖子以在某些答案后添加有关我的情况的信息。