我在这里有点困惑。因此,我得到了一个包含几个变量的数据集。该数据集是一个保留样本,用于验证机器学习模型。除了它是分类外,我没有关于该模型的任何信息。数据集还包含预测的类别和预测的概率。现在,我被要求为一个二分变量创建一个ROC曲线,该变量应该与用于分类的相同变量(它们是不同的变量)高度相关。
可以这样做吗?
当我在r中使用ROCR软件包执行此操作时,我得到了一个可怕的结果,我认为这是应该做的,但是想要确保。
pred <- prediction(val.mod.as$probability, val.mod.as$av_calcium_cutoff)
perf <- performance(pred, "tpr", "fpr")
plot(perf)
1)曲线是否可怕,因为它们创建的模型在验证集中的表现不佳,或者
2)测试和创建不同变量上的ROC的方法是否无效?