如何自信地评估ML图像分类器

Question

假设我有一个模型可以将图像分类为n个类别之一。我知道如何仅根据输出标签来计算准确性和灵敏度。但是，我想更具体一些。我又如何合并每个输出产生的置信度百分比？

Answer 1

您可以使用bootstrapping来获取模型在数据集中的置信区间。完整的演示here。如果您希望将其用于单个样本，则可以定义另一个列表，例如fill-height列表，并在其中存储该个体的预测概率。