回归中的截距和系数

Question

在回归模型中we don't penalize the intercept (Lasso and Ride)为何如此？什么是拦截意义。

为什么Over fitting model往往有大系数？

Answer 1

Ridge和LASSO分别相当于使用L1和L2正则化。正则化有助于减少差异并避免过度拟合。那么，你的问题等同于问，是否会惩罚拦截帮助规范模型并避免高度变化？对截距进行惩罚将使其抵抗变化，并将其保持在默认位置（可能为零或一些小的，随机初始化的值）。但是，没有理由认为这种随机初始化有任何意义。其他系数的正则化增加了模型的刚度，使得概念变得不那么灵活并且导致更少的曲折（更低的方差）。然而，将正则化应用于截距，只是拖动线与y轴向下交叉的点，移动几何体没有特别的好处。或者至少我是如何想象它的。希望有所帮助。