我参加了Fastai课程,并对听到的内容有疑问和疑问...
视频链接:
https://www.youtube.com/watch?v=hkBa9pU-H48&t=3139s
在第6课中,杰里米说: “在实践中,我们不会对每个小批量批次使用不同的均值和偏差,如果这样做,差异会很大,“很难训练”,而是取均值和偏差的指数平均值。 / p>
我对“火车”一词感到困惑。
这对我来说听起来很奇怪,在训练过程中是否应该在正则化过程中产生一些噪音?
我知道我们在测试时必须取平均值和偏差的指数平均值。
但不参加培训,对吗?我遍历了许多图书馆,但还没有看到在训练阶段需要移动平均数来进行批量归一化。
如果我错了,有人可以纠正我,谢谢!