将模型应用于验证数据集时，ROC曲线会减少

Question

我正在研究逻辑回归模型，如果有人能帮助我，我将不胜感激。我在训练数据集上建立了逻辑回归模型，得到的AUC为0.87，但是当我使用该模型对验证数据集进行评分时，AUC降低到0.62。可能是什么原因？提前谢谢

Answer 1

ROC曲线评估模型与数据之间的拟合。如果您overfit您的训练数据，当您使用训练数据本身（重新取代）评估模型时，您将获得对模型性能的过于乐观的估计。

这就是为什么您必须始终在未用于训练它的数据集上测试模型的原因。看看交叉验证的常用方法。