BatchNorm2d图层的渐变累积

时间:2020-07-15 03:12:39

标签: python deep-learning pytorch

当我进行梯度累积时,BatchNorm2d层没有正确累积,对吗?不过,我并不完全了解发生了什么。在每个连续的批次上重置运行平均值和标准偏差,对吗?

如果BatchNorm2d图层的堆积不正确,是否还会破坏随附Conv2d图层中的渐变堆积?

根据我在网上找到的“解决方案”,是使用InstanceNorm2d。 我使用了InstanceNorm2d图层,但是即使在(-1,1)之间的钳位梯度下,我的模型也无法改善并将预测推向nan

我正在使用自定义UNet模型中的这些层来创建分段蒙版。

有人对此有见识吗?

0 个答案:

没有答案