R:混淆矩阵表示分类方法1最佳,ROC表示方法2

时间:2019-02-28 12:02:32

标签: r roc auc

在进行这些计算时,我可能会感到困惑,因此,我非常感谢新的反馈。

我得到1/0的结果(按照我阅读的关于该主题的指南,将其称为错误单位)。

27个单元有故障,而76个单元正常工作。

方法1
给出1/0的预测,并正确地将4个单元识别为缺陷,并预测所有其他单元都在工作。

方法2
给出百分比估计。平均而言,它的工作单元得分为0.5,有缺陷的单元得分为0.3。

如果我绘制ROC并比较AUC,似乎方法2显然更好: enter image description here

但是当我调用混淆矩阵时,方法一似乎比该图所示要好得多:

               Accuracy : 0.7767         
                 95% CI : (0.684, 0.8529)
    No Information Rate : 0.9612         
    P-Value [Acc > NIR] : 1              

                  Kappa : 0.2042         
 Mcnemar's Test P-Value : 4.49e-06       

            Sensitivity : 1.00000        
            Specificity : 0.76768  

而将阈值设置为0.35(两个平均值的中间值)的混淆矩阵会使方法2显得相对较差

               Accuracy : 0.699           
                 95% CI : (0.6008, 0.7855)
    No Information Rate : 0.6699          
    P-Value [Acc > NIR] : 0.3033          

                  Kappa : 0.282           
 Mcnemar's Test P-Value : 0.2812          

            Sensitivity : 0.4412          
            Specificity : 0.8261 

我不确定该推荐哪种方法,以及在上述比较中是否做错了什么?复制代码可用here

感谢您阅读我的帖子,感谢所有反馈。

0 个答案:

没有答案