在k倍交叉验证中评估准确性与保留数据

Question

我观察到，与Stratifiedkfold相比，应用holdout data后的平均准确性更高。我想知道在这种情况下这是否可能是过度适合的迹象，如果可以，有人可以解释。

holdout模型的准确度约为95.7％，而Stratifiedkfold集的准确度为96.3％。

Answer 1

我不明白你的第二段，但是可以。当训练精度高于验证精度时，表明过度拟合。但是，情况总是如此（除非幸运）。像您的情况一样，少量的过度拟合是完全正常的。

顺便说一句，这个问题更适合于datascience.stackexchange或crossvalidated.stackexchange。