使用ROC曲线进行评估

Question

我有一个图像处理算法，它采用三个参数并生成二进制图像。对于每张图片，我都有ground truth。所以我能够计算出真/假阳性/阴性。生成的二进制图像取决于3个参数。每个参数都可以取一个区间中的值，例如从0.0到1.0。为了找到最佳结果，我使用每个组合运行我的算法（总共1000个）。对于每个结果，我计算统计数据。

现在我想知道哪些参数可以获得最佳结果。我知道算法工程中的ROC curve。这是要走的路还是更好的计算F1-score并采用导致最高分的参数？

roc曲线如下所示：

Answer 1

您误解了ROC曲线是什么。

通过改变决策阈值，从一个预测器（具有一组固定参数）构建ROC曲线。这与你在这里所做的完全相反，在这里你改变了参数并且可能保持阈值固定（0.5可能？）。

您可以做的是构建1000条ROC曲线并选择最佳曲线。在你的情况下是否合适是另一个问题。