我正在尝试对一个不平衡的数据集进行分类(来自正类的2000个数据点和来自负类的98880个数据点)。我使用Precision,Recall,F-Score和AUC报告模型的性能,但是这些模型的行为方式令我感到惊讶。您可以在下面看到模型结果:
TP:1982, TN:87920, FP:10960, FN:18 | PR:0.153, RE:0.991, F1:0.265, AUC:0.972
TP:22, TN:98877, FP:3, FN:1978 | PR:0.880, RE:0.011, F1:0.022, AUC:0.810
TP:148, TN:98271, FP:609, FN:1852 | PR:0.196, RE:0.074, F1:0.107, AUC:0.700
TP:1611, TN:98847, FP:33, FN:389 | PR:0.980, RE:0.805, F1:0.884, AUC:0.998
如您所见,
在第三个模型中,精确度和重调用率都非常低,导致F分数较低,但令人惊讶的是,AUC仍然相当高
在第四个模型中,精度和查全率较高,因此F-Score和AUC较高
所以,我可以得出结论,因为我的问题F-Score是比AUC更好的性能指标?