线性回归中正则化常数的范围

时间:2012-10-01 03:12:11

标签: machine-learning linear-regression

可以用于“Lambda”的值范围是否有任何限制 - 线性回归中的正则化常数。 [机器学习问题]

当Lambda值为100时,我对数据非常适合。这是否在“实际”可接受限度内?

我认为理论上,Lambda的价值很好,但实际应用?

[解决家庭作业问题需要小的澄清。]

1 个答案:

答案 0 :(得分:2)

我认为lambda的实用价值没有限制。您选择了最适合您问题的方法并坚持下去。例如,如果你有太多的功能和太少的数据,那么模型将倾向于过度拟合,你必须用更大的lambda来对抗它(更好的事情是获取更多数据或删除一些功能)。另一方面,如果你有大量的数据具有相对较少的特征,过度拟合将不会是一个大问题,而lambda可能会更小。

选择Lambda的一种方法是使用lambda [A .. B](其中A> 0,B> A)的值训练模型,然后在交叉验证集上绘制成本函数。它将接近凸曲线,对应于全局最小值的λ将是最佳曲线。

有关更完整的说明,请观看此讲座:https://class.coursera.org/ml/lecture/preview/63