深度学习中的层归一化与实例归一化

时间:2020-02-25 04:02:41

标签: machine-learning deep-learning computer-vision batch-normalization

我对层和实例规范化有些困惑。据我了解,图层归一化将考虑批次中每个特定观察值的所有特征的均值和方差。因此,如果我有10个观察值,则将有10个不同的均值和方差来标准化每个观察值。

我的问题是,如果我现在考虑多个通道(例如在深度为5(特征图数量)的卷积层中),那么我将有10 x 5归一化参数(均值+方差)会发生什么,因为我为渠道添加了尺寸吗?

最后,当涉及实例规范化时,我现在将规范所有通道,并使用10种不同的均值和方差,如果我没有任何通道。这样,每个频道都只会被视为附加功能。

我从这里获取了我的信息:https://zhangtemplar.github.io/normalization/

非常感谢!

0 个答案:

没有答案
相关问题