如果使用批量标准化，是否需要标准化输入？

Question

我一直在玩Keras的批量规范化。我想知道批量标准化是否也使神经网络的输入正常化。这是否意味着我不需要标准化我的网络输入并依靠BN来做它？

Answer 1

虽然您当然可以使用它，但它不是为此而设计的，并且由于样本量有限（样本大小是您的批量大小），您很可能会在规范化中引入抽样错误。

为什么我不建议使用批量标准化的另一个因素是它引入了校正项gamma和beta（训练参数），如果没有禁用，它会使你的训练数据偏斜。

对于测试数据的标准化，我建议在完整的训练集上使用z-score标准化或适当的但不是批量标准化。