如何切换ROC曲线以优化假阴性率？

Question

ROC曲线绘制TPR与FPR的关系，并根据训练集概率的等级顺序改变阈值。挑选的阈值是与左上角最左角的点相关联的概率。这基本上可以最大化TPR并最大限度地降低误报率。

但是，让我说我的应用程序谈论最小化假阴性率？那曲线怎么会改变？如何在两者之间取得平衡？

Answer 1

在我看来，你有点误解了ROC曲线是什么。

当阈值变化时，ROC曲线绘制TPR与FPR。因此，ROC曲线实际上是三维图，绘制了3个变量之间的关系：FPR，TPR和阈值。图表上的每个点反映了特定阈值的实际TPR和FPR。图表的左下角始终反映阈值1，而右上角反映阈值0。

ROC曲线有两种常用用法：比较两种不同于阈值的不同模型，并帮助选择合适的阈值。预测分析应用程序的“适当阈值”将根据您正在攻击的特定问题而有很大差异，但一般情况下，您可以使用ROC曲线为特定应用选择可接受的TPR / FPR权衡阈值。很少情况下，简单地选择最接近左上角的点的阈值将给出理想的结果。

一旦从ROC曲线中选择了理想的阈值，您就可以调查混淆矩阵和其他评估指标（精度，召回率，准确度，F1等），以进一步评估阈值。

要回答您的直接问题，您认为ROC曲线不会直接显示FNR。在这种情况下，您可能需要使用灵敏度/特异性图表，该图表以与ROC曲线类似的方式绘制TPR与TNR。我所知道的标准评估方法没有直接关注FNR。相反，我通常只是在我的数据中切换“正”和“负”标签并重新绘制ROC曲线。这有效地提供了TNR与FNR的对比。

Answer 2

  

但是，让我说我的应用程序谈论最小化假阴性率？那么这条曲线将如何变化呢？

此曲线将保持完全相同。但是你不再选择左上角的点（picture中的左圆圈）。相反，你会尝试最大化true positive rate (1-FNR).如果你将所有点都指定为正数，那么这将真正最大化。由于这违背了分类（=愚蠢），你可以选择一个靠近ROC右上角的点（右图）。

  

两者之间的平衡怎么样？

左上角和右上角之间的点（图片中间）