测试误差低于训练误差

时间:2012-07-16 09:12:36

标签: statistics machine-learning genetic-programming

非常感谢您对此的意见。我正在遗传编程的帮助下构建回归模型。

如果测试数据的RMSE(大大低于)我的RMSE低于1:5数据比例的训练数据,我应该担心吗?

测试数据是随机抽取的,无需替换一组24个数据点。该模型是使用遗传编程技术构建的,因此特征数量,建模框架等因我最小化由GP树中节点数量规则化的训练RMSE而变化。

模特是否装修好?或者我应该最小化MSE而不是RMSE(我认为它与MSE相同是积极的,并且假设优化器足够好以找到最小值,MSE的最小值将与RMSE的最小值一致)?

韩国社交协会

1 个答案:

答案 0 :(得分:1)

因此,您的模型在24个数据点中的20个上进行了训练,并在剩余的4个数据点上进行了测试?

对我而言,您需要(更多)更多数据,因此您可以拥有更大的火车和测试装置。我对测试集的低性能并不感到惊讶,因为您的模型似乎无法从这么少的数据中学习。根据经验,对于机器学习,您永远不会有足够的数据。是否有可能收集更大的数据集?