如何从给定数据绘制ROC曲线

Question

我知道这是一个愚蠢的问题，我知道它在堆栈溢出中发生了很多，但我无法理解任何一个例子...

例如，我有从神经网络获得的数据。我知道它的数据并不多，但我希望它足以向我展示一个例子......

Speaker | Guessed speaker
_________________________
1       |       2
2       |       2
3       |       3
4       |       9
5       |       5
6       |       6
7       |       7
8       |       1
9       |       9
10      |       10

现在，我该如何根据这些数据创建ROC曲线？

Answer 1

您无法根据此数据创建ROC曲线，ROC曲线由可以阈值化以产生实际预测的分数组成，例如置信度分数。你需要产生这些分数。如果您的分类器输出softmax概率，那么可以使用它。

通过在分数上设置阈值并生成预测来生成ROC曲线，然后您可以计算真假误差，并在曲线上生成一个点。您更改阈值，然后生成另一个点，依此类推。

另请注意，ROC曲线主要用于二进制分类问题，并且可以通过为每个类创建一条曲线，使用class vs non-class作为二元决策，将其扩展为多类问题。