训练错误 - 重点是什么?

时间:2016-08-08 14:32:13

标签: machine-learning regression training-data

回归目标(即做出预测)中培训错误的总体意义是什么?

你可能会说,“好吧,你知道,训练错误可以帮助你确定哪种复杂模型最适合使用。”

对此,有人会说,“不,你不能。低训练错误只能意味着你的模型符合你正在训练模型的任何数据,A.K.A过度拟合”

如果训练误差不是一个好的预测性衡量标准,那么计算训练误差的重点是什么?

特别是当我们通过训练错误说到地狱时,只需使用验证错误..

我们何时会使用培训错误?

低训练误差可能表明过度拟合..是唯一使用它吗?

1 个答案:

答案 0 :(得分:5)

正如您正确指出的那样,训练错误本身可能是您模型性能的一个非常糟糕的指标。但是,你不需要训练你的模型来进行一些有意义的预测。

这就是您需要培训,验证以及测试阶段和数据集的原因。通过使用随机子采样验证数据集,可以在一定程度上缓解训练数据集中容易发生的过度拟合,因为如果您已经过度拟合,则您的模型将不会推广(您应该看到您的训练误差单调下降为模型复杂性增加,但您的验证错误在某些时候出现平台,而额外的模型复杂性实际上增加了验证错误)。但是,如果您不对模型进行任何培训,则表示您没有要验证的模型!

模型需要经过培训。没有绕过那个。但是,训练错误我自己也没用。需要执行交叉验证以确保模型可推广。底线是您使用的任何模型在培训阶段所看到的,以评估其性能无效。它适用于模型拟合,但不适用于评估。 无论OP在下面的讨论中声称什么,正确的方法是交叉验证。

你应该研究偏差 - 方差权衡的概念,因为这与你的问题有直接关系,应该澄清你的疑问。