为什么初始网络中没有丢失层？

Question

我最近正在实施InceptionNet，并遇到这样的情况：早期或中期，网络中根本没有实现辍学层。有什么特殊原因吗？

Answer 1

您可以看到本文发布的模型：

Answer 2

它实际上具有轻微的正则化效果，类似于辍学。 像这样思考，我们正在选择每个节点都有一定可能性的 因此我们创建具有可能性的NN体系结构。类似 这种情况在这里也是有效的，但是这次我们将运用所有可能性。 因此，初始网络有助于防止过度拟合参数，从而 正在学习，以加深理解，请查看 原始论文，但这只是观察而不是证明。