具有未分类对象的分类器的度量标准

Question

我试图用特定的分类器来解决二元分类问题。它可以返回未分类的对象。在这种情况下，最好的指标是什么？例如，我可以使用f1分数，但不能考虑未分类对象的数量。也许这个问题已经有了传统的方法。

Answer 1

我假设您正在引用弃权分类器。

“在机器学习的许多应用领域中都是如此 为每一个人预测班级是不明智的 例如，无论预测多么不确定。 相反，分类器应该有机会弃权 来自某些条件下的风险预测“ http://users.dsic.upv.es/~flip/ROCML2006/Papers/friedelROCML06.pdf

本文还提供了非常精细的可视化技术。一般来说，搜索评估+弃用+分类器将为您提供相当多的指标。

如果你想要更简单的东西，你可以很容易地从scractch开发一些东西，如果你可以定义一个成本函数。成本函数将值赋给TP FP，...基于此，您可以通过计算混淆矩阵上的加权和来计算分类器的值。