我的ROC曲线的区域在随机线下方

Question

我在高光谱图像中有一些目标，我想检测它们。我提出了一个探测器，然后通过接收器工作特性（ROC）曲线分析了它的性能。

当要检测的目标具有非常低的信噪比（也就是说，图像中的目标非常弱，因此它们的检测非常具有挑战性，特别是对于非常小的误报Pfa值的概率），我总是获得如下ROC曲线。

这不是我的数字，但我获得了类似于此ROC曲线。所以我的曲线低于Pfa<=0.1的随机线。 我想知道这是否正常？将ROC曲线的区域置于随机线以下是否可以接受？如果是的话，那怎么可以证明这是合理的呢？

Answer 1

ROC显示增加阈值的真实和假阳性比率。如果阈值处于一个极端，则所有内容都被归类为负数，因此您有0％的真阳性和0％的误报。在另一个极端的阈值，你有100％的真阳性和100％的误报。在两个极端之间，任何事情都可能发生。在这种特殊情况下，当您从第一个极端增加阈值时，您开始将阴性样本分类为阳性，因此您可以在不增加真阳性率的情况下增加误报率。

原则上这并没有错。重要的是，您可以找到一个点（阈值），其中真假比率之间的折衷是令人满意的。这就是您操作系统的关键所在。并且因为您希望阈值的选择是稳健的，所以您希望ROC在该点附近缓慢变化。但它远离您的操作点所做的事情并不会影响您的系统。 （这就是为什么我认为曲线下面的区域＆＃34;性能测量没有用。）

然而，您的ROC向您展示的是，您的系统认为最明显是正面的样本实际上是负面的。也许你没有正确地对你的样品进行建模？