ROC空间中的最佳分类器

Question

我一直在做一些事情，我做了以下情节：

由于所有分类器都在随机线之下，我读到我们应该/可以＆＃34;反转＆＃34;他们。我得到最左边的分类器是最好的。在这里，我将如何获得最佳分类器？我应该倒置吗？

Answer 1

不要只是＆＃34;阅读＆＃34;，但要试着理解原因......

如果分类器低于该线，那么它的假阳性率高于假阴性率。换句话说，所有分类器的输出通常都是错误的，而不是正确的。

通常，这表示配置错误，我不建议通过将分类器视为“骗子”来解决这个问题。相反，找到修复根本原因。

Answer 2

请记住，AUC值低于0.5并不会自动暗示分类器输出被反转。 AUC是对分类器性能的估计，并且像任何估计一样，它可能遭受偏差。负偏差在小样本数据集中尤为普遍，并且已在生物信息学领域进行了相当广泛的分析。例如，请查看以下文章：https://www.ncbi.nlm.nih.gov/pubmed/17764577

长话短说：您的预测器可能是真正随机的，但您对其性能（AUC）的估计是有偏见的。如果是这种情况，则没有“最佳”预测因子，因为它们都与翻转硬币一样好。