推理时BatchNorm是否关闭？

Question

我从几个消息来源中读到，暗示建议关闭batchnorm进行推理，但我没有明确答案。

Answer 1

最常见的是使用Keras使用的批量标准化的均值和标准移动平均值（例如https://github.com/keras-team/keras/blob/master/keras/layers/normalization.py）。如果您只是将其关闭，由于图像处理方式的变化，网络在相同数据上的性能会更差。

这是通过存储培训网络期间使用的所有批次的平均值和平均值来完成的。然后在推断中，该移动平均值用于归一化。