模型的预测概率是否与置信度相同？

Question

这个问题似乎很奇怪，让我以示例的方式进行解释。

1. 我们训练一种特定的分类模型来确定图像中是否包含人物。
2. 训练模型后，我们使用新图像进行预测。
3. 预测结果表明该图像包含一个人的可能性为94％。

因此，我可以说，可信度为94％，因为图像可能包含一个人吗？

Answer 1

您的第三项未正确解释。该模型为“人”类别返回0.94的归一化分数。尽管该分数与我们的“概率”和“信心”认知概念相对较好地关联，但不要将其与任何一个混淆。这是一种方便的指标，具有一些总体有用的属性，但对准确度两位数的预测不是 。

当然，对于某些模型来说，模型的预测 是准确的数字。例如，您将在RealOdds上找到的538模型是按照该标准构建和测试的。但是，这是十多年来的直接努力。您的日常深度学习模型不会遵循相同的标准...除非您对其进行调整，以使该数字的准确性成为您训练的一部分（将其纳入误差函数中）

您可以运行一个简单的（尽管很庞大）实验：收集所有预测并将其分类；例如，每10个垃圾箱的范围为0.1。现在，如果确实是这种“预测”，那么您的0.6-0.7分箱应该正确地识别一个人65％的时间。检查是否符合事实：该垃圾箱是否正确率65％，错误率35％？差异是否在预期范围内：对10个类别中的每个类别都进行此操作，并对其执行您喜欢的适用统计指标。

我希望这会让您相信，推理得分既不是预测也不是置信度得分。但是，我也希望它能为您提供一些未来工作的想法。