正则化如何缩小参数？

Question

这实际上可能是一个简单的问题，但我有点困惑。这是平方误差成本函数

Answer 1

基本上，您正在尝试最小化J，其格式为

J(theta) = f(theta) + lambda*||theta||^2

现在，第一个术语测量经验误差（适合数据）的大小，第二个测量参数矢量的大小。您正在最小化两个值的总和，因此为了获得较小的值，您必须或多或少地最小化它们。当然，情况可能仍然如此，对于一些非常大的θ，f（theta）是如此之小，在那里获得最小值。但这就是lambda的含义出现的地方 - 通过设置高lambda，你会使theta的增长越来越昂贵，因此优化过程必须减小使用的θ的大小以实现最小的功能。