对于深度学习，层规范化总是优于批量规范化

Question

最近开发的Layer Normalization方法解决了与Batch Normalization相同的问题，但计算开销较低且不依赖于批处理，因此可以在训练和测试期间一致地应用它。

我的问题是，层规范化总是优于批量规范化，还是某些情况下批量规范化可能是有益的？

Answer 1

在Layer Normalization的论文中，它表示批量标准化对于卷积神经网络更有效。因此，它取决于应用程序类型。它给出了一个原因：如果每个神经元给出类似的贡献，那么移位和缩放将很好地工作，然而，在回归中并非如此，因为在图像的边界处，神经元的活动是非常不同的。 因此，尝试仅将其应用于完全连接的层和RNN。虽然，至少对于前者而言，BN也可能比LN具有更好的性能，具体取决于批量大小和问题类型。