为什么我们使用RMSE而不是平均残差作为模型的评估标准？

Question

通常，我们使用 RMSE 来评估模型的性能。我很好奇为什么我们使用平均残差来代替RMSE？

RMSE 的定义：

此处提到的平均残差是：

例如：

我们有三个样本：0 1 2

这些样品的预测值为：0 2 10

因此平均残差为

RMSE为

那么这两个值之间的差异是什么？

Answer 1

（我将参考RMSE和＆＃34;平均残差＆＃34; 损失函数）

1. 请注意您为＆＃34提供的表达式;平均残差＆＃34;可以有正的，零和负的值，并且不受下划线的限制。这不是损失函数的良好属性，其应具有对应于其最优的下限（通常为零）。如果你试图最小化这个功能，你实际上是训练你的模型尽可能地低估（你的训练预测尽可能小和负，这样损失函数会很小）。在您的示例中，预测值-1000，-1000，-1000将产生损失函数的极好（即小）值，即使预测非常错误。此外，由于误差平均为零，即使您有很大的错误，也可能会得到零损失值。
2. 也许你正在考虑在＆＃34;平均残差中使用绝对值＆＃34;功能（对于总和中的每个术语）。这实际上是一个可以使用的损失函数，被称为 L1损失，但它至少有以下两个缺点： A）它的分析性能较差。例如，当使用线性模型进行回归时，RMSE标准是完全可解的（即模型参数的简单公式可以使损失最小化），但L1损失则不然。 B）渐变是分段常数（考虑绝对值函数的导数）。这意味着如果使用基于梯度的方法执行优化，则最佳值附近的参数值将获得与更远离最佳值的值相同的梯度，而不是您所期望的那样，大错误将得到更大的修正。

Answer 2

RMSE除了是凸函数外，与高斯分布紧密相关，因为RMSE具有与Normal的标准偏差类似的表达式。

正态分布得到很好的研究，并且在自然科学中发现的各种随机过程中自然发生。将误差等于正态分布的扩展在很多情况下是有帮助的，例如log-likelihood（https://www.statlect.com/fundamentals-of-statistics/normal-distribution-maximum-likelihood），log-posterior（http://www.utstat.toronto.edu/~rsalakhu/sta4273/notes/Lecture2.pdf查看证据近似幻灯片）优化等。