衡量不平衡数据集中分类器的性能

时间:2019-02-25 10:49:50

标签: machine-learning classification roc auc

我正在尝试对一个不平衡的数据集进行分类(来自正类的2000个数据点和来自负类的98880个数据点)。我使用Precision,Recall,F-Score和AUC报告模型的性能,但是这些模型的行为方式令我感到惊讶。您可以在下面看到模型结果:

TP:1982, TN:87920, FP:10960, FN:18 | PR:0.153, RE:0.991, F1:0.265, AUC:0.972
TP:22, TN:98877, FP:3, FN:1978 | PR:0.880, RE:0.011, F1:0.022, AUC:0.810
TP:148, TN:98271, FP:609, FN:1852 | PR:0.196, RE:0.074, F1:0.107, AUC:0.700
TP:1611, TN:98847, FP:33, FN:389 | PR:0.980, RE:0.805, F1:0.884, AUC:0.998

如您所见,

  • 在第一个模型中,精度非常低,召回率非常高,这导致F-Score较低和AUC较高。
  • 在第二种模型中,精度较高,召回率较低,但是结果相似,AUC较高,F分数较低。
  • 在第三个模型中,精确度和重调用率都非常低,导致F分数较低,但令人惊讶的是,AUC仍然相当高

  • 在第四个模型中,精度和查全率较高,因此F-Score和AUC较高

所以,我可以得出结论,因为我的问题F-Score是比AUC更好的性能指标?

0 个答案:

没有答案