岭回归与套索回归

Question

Lasso回归或Elastic-net回归总是比ridge回归好吗？

我是机器学习的新手。我已经在一些数据集上进行了这些回归，而且我总是得到相同的结果，即套索回归中的均方误差最小。这仅仅是巧合还是反正？

Answer 1

我认为这个问题可能更适合交叉验证子论坛。

James，Witten，Hastie和Tibshirani在他们的书《统计学习概论》中写道：

  

这两个示例说明，岭回归和   套索将普遍主导另一个。一般而言，可能会期望   套索在相对较小的环境中表现更好   预测变量的数量具有实质性系数，其余   预测变量的系数非常小或等于零。   如果响应是以下函数的函数，则Ridge回归将表现更好   许多预测变量，它们的系数大小大致相等。然而，   与响应相关的预测变量的数量永远不会   已知的真实数据集先验。交叉验证之类的技术   可以用来确定哪种方法更好   特定的数据集。 （第6.2章）

Answer 2

每个问题都不同。在套索回归中，算法试图删除听起来没什么用的多余功能，因为我们也可以很好地训练较少的数据，但是处理起来有点困难，但是在岭回归中，算法正在尝试使这些额外功能的效率降低，但又无法完全删除，因此更易于处理。