重量衰减和输入标准化

Question

我是张力流的新手，发现样本CNN程序正在使用重量衰减来避免巨大的重量，而他们并不总是首先将输入标准化。

重量衰减是否与输入标准化的目的相同？

他们之间有什么区别？

Answer 1

重量衰减是一种用于控制模型过度拟合的正则化。重量衰减通常称为L2标准化。重量衰减在浅层学习算法中更常用，如线性回归，逻辑回归等。在深度学习中（例如：使用CNN），体重衰减并不常见。事实上，使用其他正规化方法，如dropout。

另一方面，

输入标准化是指将输入数据居中，并限制输入数据的范围。此过程有助于快速收敛数据。

关于如何应用这两个概念，没有一般的固定规则。因此，您可能已经看到了这两个概念的一些变化。

Answer 2

权重衰减是一种正则化技术，例如L2正则化，可导致梯度下降使每次迭代的权重缩小