(混乱)杰里米在第6课中提到的批处理规范化层中的动量

时间:2019-04-28 08:13:05

标签: pytorch moving-average batch-normalization momentum fast-ai

我参加了Fastai课程,并对听到的内容有疑问和疑问...

视频链接:

https://www.youtube.com/watch?v=hkBa9pU-H48&t=3139s

在第6课中,杰里米说: “在实践中,我们不会对每个小批量批次使用不同的均值和偏差,如果这样做,差异会很大,“很难训练”,而是取均值和偏差的指数平均值。 / p>

我对“火车”一词感到困惑。

这对我来说听起来很奇怪,在训练过程中是否应该在正则化过程中产生一些噪音?

我知道我们在测试时必须取平均值和偏差的指数平均值。

但不参加培训,对吗?我遍历了许多图书馆,但还没有看到在训练阶段需要移动平均数来进行批量归一化。

如果我错了,有人可以纠正我,谢谢!

0 个答案:

没有答案