批量大小为1的实例规范化

Question

我真的对Instance Norm的含义以及是否可以以1的批量大小使用它感到困惑。我使用的是PyTorch，文档中没有任何内容说明批量大小应该大于1。

我知道对于BatchNorm，当批次大小小于8时，性能会受到不利影响，因此，它对批次大小施加了一定的限制。但是，我没有对Instance Norm进行任何此类分析，现在有点困惑。如果我的批处理大小为1，我应该删除标准层吗？

Answer 1

Group Normalization paper中很好地概述了不同的规范。

实例规范化总结为：

[...] IN为每个样本和每个通道沿（H，W）轴计算µ和σ。

平均值和标准偏差仅在空间尺寸（H，W）上计算，与批次大小和通道无关（存在 N x C 个不同的规范）。因此，您可以以1的批量使用它。