如何逆转批次归一化

Question

在回归网络中，我想对目标y使用批量归一化以获得y_norm来拟合。因为y_norm分布良好。

在训练后的测试阶段，我需要“撤消”对预测的y_norm的批量归一化。在tensorflow / keras中有什么优雅的方法可以构建一个 是从原始BN层“撤消”层？

Answer 1

我发现this层有2种方法：执行归一化的inverse()和执行去归一化的forward()。因此，在训练中，您应该使用inverse并推断出forward方法。