确定估计其中一个类的概率的模型的准确性

Question

我正在使用两个结果建模事件，0（拒绝）和1（接受）。我创建了一个模型来估计1（接受）将发生的概率（即模型将计算'1'将发生80％的可能性，或者换言之，接受概率为0.8）

现在，我对模型估计的试验结果有很大的记录（例如：接受概率= 0.8和实际等级（接受= 1））。我想量化或验证模型的准确程度。这是可能的，如果是这样的话？

注意：我只是预测第1类的概率。假设第1类的预测是0.8，实际的类值是1.现在我想找到我的模型的性能。

Answer 1

您只需要使用阈值舍入将概率转换为两个离散类之一，即如果p（y = 1 | x）> 0.5：预测1，则预测为0.然后所有度量都适用。可以通过检查ROC曲线和/或精确召回变化来选择阈值，或者可以简单地将其设置为0.5。

Answer 2

按预测对对象排序。

然后计算得到的曲线的ROC AUC。