确定估计其中一个类的概率的模型的准确性

时间:2018-03-29 20:29:20

标签: machine-learning regression data-mining random-forest cross-validation

我正在使用两个结果建模事件,0(拒绝)和1(接受)。我创建了一个模型来估计1(接受)将发生的概率(即模型将计算'1'将发生80%的可能性,或者换言之,接受概率为0.8)

现在,我对模型估计的试验结果有很大的记录(例如:接受概率= 0.8和实际等级(接受= 1))。我想量化或验证模型的准确程度。这是可能的,如果是这样的话?

注意:我只是预测第1类的概率。假设第1类的预测是0.8,实际的类值是1.现在我想找到我的模型的性能。

2 个答案:

答案 0 :(得分:0)

您只需要使用阈值舍入将概率转换为两个离散类之一,即如果p(y = 1 | x)> 0.5:预测1,则预测为0.然后所有度量都适用。可以通过检查ROC曲线和/或精确召回变化来选择阈值,或者可以简单地将其设置为0.5。

答案 1 :(得分:0)

按预测对对象排序。

然后计算得到的曲线的ROC AUC。