误差和残差之间的确切区别是什么？

Question

因为我在想的是残差=（实际-预测的）。让我们采用线性回归实际函数：

y= mx+c+error，我们在预测中获得的功能是

y=mx+c

最小化RSS。那么残留就是错误，那就是为什么这两个术语被描述为不同。

如果我错了，请纠正我。

Answer 1

出于所有实际目的，在机器学习上下文中，这两个术语被视为同义词。

“残差”一词源自统计的线性回归；由于统计中的“错误”一词具有不同的含义，即在当今的ML中，需要使用不同的术语来声明因变量的估计（预测）值与其观察值之间的差异，因此，“残差” 。

您可以在Wikipedia条目中找到Errors and residuals的更多详细信息（注意复数）；引用：

  

在统计和优化中，错误和残差是两个密切相关且容易混淆的度量，用于衡量统计样本元素的观测值与其“理论值”。观测值的误差（或扰动）是观测值与感兴趣数量（例如，总体均值）的（不可观测）真实值的偏差。 ），而观察值的残差是观察值与所关注数量（例如样本均值）的估计值之差。这种区别在回归分析中最为重要，在回归分析中，有时将这些概念称为回归误差和回归残差，并在此基础上引入学生化残差的概念。

请记住，以上内容来自统计领域；在ML上下文中，我们使用术语“错误”（单数）表示预测值和观察值之间的差异，而术语“残差”实际上几乎从未使用过...

Answer 2

错误：是与期望值（基于总体）的差异。

剩余：是无法观察到的统计误差的估计。您可以将残差视为错误的估计值。

基本上，残差是估算模型后可以实际处理的内容。