用R中的不同阈值计算灵敏度，特异性，NPV和PPV

Question

我使用以下代码计算敏感度，特异性，NPV和PPV，使用 RandomForest 作为分类器。

   suppressMessages(require(randomForest));
   classifier <- randomForest(x.train,y.train,ntree=300,importance=T)
   prediction <<- predict(classifier,x.test,type="response")

   suppressMessages(require(caret));
   accuracyData <- confusionMatrix(prediction,y.test)

在 accuracyData 中，我掌握了有关预测质量的所有信息（敏感度，特异性等）。

无论如何，我想对不同的阈值进行此计算，但我不知道如何在我的代码中指定这样的值。

Answer 1

问题在于，当您预测“回复”时，您正在做出二分法决定而您正在丢失有关您的不确定性的信息。此时已经应用阈值来做出决定。如果要尝试不同的阈值，则应输出响应的概率。例如

#sample data
set.seed(15)
x<- matrix(runif(100,0,5), ncol=1)
y<- 3-2*x[,1] + rnorm(100, 2, 2)
y<- factor(ifelse(y>median(y), "A","B"))

x.train<-x[1:50,, drop=F]
y.train<-y[1:50]

x.test<-x[-(1:50),,drop=F]
y.true<-y[-(1:50)]

#fit the model
library(randomForest)
classifier <- randomForest(x.train,y.train,ntree=500,importance=T)
prediction <- predict(classifier,x.test, type="prob")

#calculate performance
library(pROC)
mroc<-roc(y.true, prediction[,1], plot=T)

然后我们可以计算不同阈值的兴趣值

coords(mroc, .5, "threshold", ret=c("sensitivity","specificity","ppv","npv"))
# sensitivity specificity         ppv         npv 
#   0.7586207   0.8095238   0.8461538   0.7083333 

coords(mroc, .9, "threshold", ret=c("sensitivity","specificity","ppv","npv"))
# sensitivity specificity         ppv         npv 
#   0.9655172   0.6666667   0.8000000   0.9333333