为什么保持模型权重较低（加上正则化参数）可以使模型更好地拟合看不见/测试数据？

Question

考虑具有成本函数的线性回归模型：

这里我们有 =模型的权重

我们添加正则化参数以避免过度拟合数据。正则化项通过根据模型的权重惩罚模型来阻止使用较大权重而支持较小权重。 问题是：

1. 为什么 保持较低的模型权重（加上正则化参数）会减少方差，即允许模型更好地拟合看不见的/测试数据？

2. 此外，如何减少差异会增加偏见？

Answer 1

如果你看一下统计学习要素的第7章（在线免费在线： https://web.stanford.edu/~hastie/Papers/ESLII.pdf ） 您将在第223页上看到预期的损失 E [（w ^ Tx-y）^ 2]可以分解为3个部分。不可约的误差项，平方偏差项和方差项。如第7章所述，增加有效参数p的数量会增加方差并减少偏差。本章还描述了增加正则化强度如何减少有效参数数量，这些参数被定义为帽子矩阵的轨迹。