这是过度拟合的例子吗?

时间:2018-09-07 17:19:28

标签: machine-learning scikit-learn deep-learning data-science

在大约100个时期后训练深度学习模型:

Train accuracy : 93 %
Test accuracy : 54 %

然后训练精度增加而测试准确性降低:

Train accuracy : 94 %
Test accuracy : 53 %
Train accuracy : 95 %
Test accuracy : 52 %
Train accuracy : 96 %
Test accuracy : 51 % 

对于模型的初始版本,我们对54%的精度感到满意,但是我不知道训练精度提高,测试精度降低的含义是什么,而不是模型过度拟合的含义。当达到最大测试精度(在这种情况下为54%)时,我应该停止训练模型并使用经过训练的参数吗?

通过观察训练准确性的提高和测试准确性的降低,我可以获得哪些知识?这是更强的过度拟合的例子吗?

2 个答案:

答案 0 :(得分:2)

  

是的,这绝对是过拟合的。您应该在测试准确性停止增加的点终止培训过程。根据显示的数字,您的模型实际上过拟合了很多。您应该考虑添加正则化以可能提高测试准确性。

(我正在添加):正则化就像@ Djib2011所说的那样,可以帮助防止过度拟合。您可以调查例如L2或Dropout是最常见的。


在评论中回答了该问题,由于没有人写出答案, 我将此答案设为社区Wiki 答案。这是为了从 未答复的清单。 最初的答案是@ Djib2011。鼓励OP选择此作为 回答以删除未回答的问题状态。 (如果该人 在评论中回答的人决定做出回答,OP可以并且应该 请选择该答案)。

答案 1 :(得分:0)

是的,绝对是过拟合的,当我第一次开始在SAS中建立逻辑回归时,我们曾经有一个经验法则,即模型的训练和测试性能相差不超过10%。

另一种方法是使用k折并在所有折中获得平衡的性能。

总体而言,这表明该模型是稳定的,我们将其拟合为实际数据趋势,而不是将其拟合为噪声。