机器学习和m估计

Question

我正在研究机器学习问题，并且在我的数据中有一些异常值，并希望使它们变得平滑。我读了一些关于使用m-estimate来解决这个问题的东西。我在Web和stackoverflow上都进行了详尽的搜索，但找不到一个好的例子。有人可以建议一些资源，我可以阅读更多关于这个主题的内容吗？

谢谢！

Answer 1

如果我记得很清楚，那么M估计来源于Huber的工作。他研究了使估算器具有鲁棒性的方法。然而，为了测量稳健性，考虑了非常特定类型的鲁棒性。它被称为“故障点”，与方法可以处理的总点数相比，异常值的百分比很简单。还有一个异常值，它就崩溃了。

请注意，这种类型的稳健性与计算机视觉的稳健性完全不同。在计算机视觉中，异常值可能并不多，但它们可能合谋（以结构化点的形式）来分解最强大的估计量。出于这个原因，在计算机视觉中，您将遇到Hough transform和RANSAC来执行强大的线条估计。

此外，一种对异常值具有很强弹性的M估计量是一个M估计量，它限定了分配给极端异常值的值。这些都是所谓的redescending M-estimators。它们非常强大，因为称为gross outliers的极端异常值被赋予零权重，换句话说，根本就没有在回归中考虑。

如果你想知道单个异常值的影响，我挑战你写一个简单的线性最小二乘八度程序。或者，如果您认为这更容易，则可以使用总体最小二乘法程序（您可以进行单数值分解并内置svd）。