为什么Tensorflow对象检测禁用更快的R-CNN正则化

Question

在Tensorflow对象检测示例配置文件中，所有更快的R-CNN配置文件都禁用了正则化术语

regularizer {
    l2_regularizer {
      weight: 0.0
    }
  }

我觉得这不合理，很可能会过度拟合。对此类设置的任何解释？谢谢。

Answer 1

“强大的正则化，例如maxout或dropout，用于在此数据集上获得最佳结果。在本文中，我们不使用maxout / dropout，只需通过设计的深层和薄层架构进行正则化，而不会分散注意力关于优化的困难。但结合更强的正规化可能会改善结果，我们将在未来研究。“ [他等。 al，深度残留学习图像识别]

我认为作者所引用的正规化直接应用于RESNET架构中的是来自批量范数层，它们夹在每个转换层和每次激活之间。虽然作者没有说任何关于L2正则化的使用，但他们关于maxout和dropout的陈述应该适用。 BN层具有使网络正规化而不强加显式惩罚的效果，因此L2正则化不是必需的。

也就是说，如果您想尝试更强的正规化，可以选择。