我对层和实例规范化有些困惑。据我了解,图层归一化将考虑批次中每个特定观察值的所有特征的均值和方差。因此,如果我有10个观察值,则将有10个不同的均值和方差来标准化每个观察值。
我的问题是,如果我现在考虑多个通道(例如在深度为5(特征图数量)的卷积层中),那么我将有10 x 5归一化参数(均值+方差)会发生什么,因为我为渠道添加了尺寸吗?
最后,当涉及实例规范化时,我现在将规范所有通道,并使用10种不同的均值和方差,如果我没有任何通道。这样,每个频道都只会被视为附加功能。
我从这里获取了我的信息:https://zhangtemplar.github.io/normalization/
非常感谢!