计算Caffe中的ROC和AUC？

Question

我在Caffe训练过imagenet。现在我正在尝试计算我的模型的ROC / AUC以及由caffe提供的训练模型。我有两个问题：

1）ROC / AUC主要用于二进制类，但我也发现在某些情况下人们将它用于多类。有1000个班级可以吗？它会产生什么影响？在评论中，人们没有在多级问题中为ROC / AUC提供良好的答案。

2）如果可能的话，比较基于ROC / AUC的两个模型将是一个好主意，任何人都可以告诉你如何在Caffe的这1000个课程中做到这一点？我是否必须从头开始重新训练模型，或者我只能使用经过最终训练的模型进行计算？

此致

Answer 1

This discussion很好地解决了多类ROC / AUC分析问题。回答你的问题：

1. 您可以为每个类执行多个一对一分类，从而构建多个ROC曲线。

2. 计算出1000个AUC值后，您可以得出所有类别的平均AUC，并使用此指标来比较模型的优劣。不，您不需要重新训练模型。

另外，请注意ROC / AUC指标非常具体，主要用于语音识别等检测/生物测量任务。