为什么限制重量大小可以防止机器学习中的过度拟合

Question

防止过度拟合的最常用方法是机器学习中的重量衰减（L2，L1）（如logistic regression，Neural network，linear regression等）。体重衰减的目的是防止体重变大 我的问题是为什么小重量可以防止过度拟合 如果我在每次迭代后进行权重规范化会怎样。

Answer 1

大子集机器学习技术具有数学模型，其需要大系数/权重以正确地表示训练数据中的各个数据点中所示的突然变化，不连贯或其他高维度现象。通过限制系数，人们基本上将模型的表现力限制为“平滑”或低维度结果，这（取决于您尝试解决的具体问题）可能在大多数指标下更好地适应现实世界数据。从这个意义上讲，它可以被视为一种平滑性，在此之前我们通过观察现实世界数据来启发性地建立并随后作为正则化术语并入数学模型的训练过程中。

Answer 2

想象一下抛物线ax ^ 2 + bx + c。系数越大，a，抛物线越脆，它越接近数据点。当曲线适合数据时，会发生过度拟合，过于紧密地拟合数据点（使用大系数）。因此，使系数更小并且通常稀疏可以防止过度拟合。

Answer 3

使用逻辑回归解释概念的一个小例子：

在逻辑回归中，y知道x的概率是

Pr(y/x) = 1/(1+exp(-y*w.x))

如果y = 1，我们将Pr(1/x) = 1 w = +infinity，Pr(1/x) = 0 w -infinity

如果您的训练集的概率为1或0（或非常接近），则会过度填充数据

因此，添加正则化会阻止您的权重进入无穷大。