过度拟合和ROC曲线

Question

是否可以通过查看其ROC曲线来了解分类器是否过度装配？ 我看到，如果它的AUC太高（例如98％）可能会过度拟合，但它也可能意味着分类器真的很好。有没有办法区分这两种情况？

Answer 1

简答：不，你不能。

长答案：估算过度拟合需要在独立数据集上评估模型。或者使用交叉验证或类似的东西。