Question

有人可以解释一下如何用ROCR绘制ROC曲线。我知道我应该先跑：

prediction(predictions, labels, label.ordering = NULL)

然后：

performance(prediction.obj, measure, x.measure="cutoff", ...)

我不清楚预测和标签的含义。我创建了一个带有ctree和cforest的模型，我希望它们的ROC曲线最终能够进行比较。在我的例子中，class属性是y_n，我想这应该用于标签。但预测呢？以下是我所做的步骤（数据集名称= bank_part）：

pred<-cforest(y_n~.,bank_part)
tablebank<-table(predict(pred),bank_part$y_n)
prediction(tablebank, bank_part$y_n)

运行最后一行后，我收到此错误：

Error in prediction(tablebank, bank_part$y_n) : 
Number of cross-validation runs must be equal for predictions and labels.

提前致谢！

这是另一个例子：我有训练数据集（bank_training）和测试数据集（bank_testing），我运行了一个randomForest，如下所示：

bankrf<-randomForest(y~., bank_training, mtry=4, ntree=2,    
keep.forest=TRUE,importance=TRUE) 
bankrf.pred<-predict(bankrf, bank_testing, type='response')

现在bankrf.pred是一个因子对象，标签为c =（“0”，“1”）。不过，我不知道如何绘制ROC，因为我陷入了预测部分。这就是我的工作

library(ROCR) 
pred<-prediction(bankrf.pred$y, bank_testing$c(0,1)

但这仍然不正确，因为我收到错误消息

Error in bankrf.pred$y_n : $ operator is invalid for atomic vectors

Answer 1

预测是您对分类的连续预测，标签是每个变量的二元真值。

所以类似下面的内容应该有效：

> pred <- prediction(c(0.1,.5,.3,.8,.9,.4,.9,.5), c(0,0,0,1,1,1,1,1))
> perf <- performance(pred, "tpr", "fpr")
> plot(perf)

生成ROC。

编辑：在问题中包含样本可重现的代码可能会有所帮助（我很难解释您的评论）。

这里没有新的代码，但是......这是我经常用来绘制ROC的函数：

 plotROC <- function(truth, predicted, ...){
   pred <- prediction(abs(predicted), truth)    
   perf <- performance(pred,"tpr","fpr")

   plot(perf, ...)
}

Answer 2

就像@Jeff所说的那样，ROCR prediction函数的预测需要是连续的。 require(randomForest); ?predict.randomForest表示默认情况下，predict.randomForest会返回原始比例的预测（分类中的类标签），而predict.randomForest(..., type = 'prob')会返回每个类的概率。所以：

require(ROCR)
data(iris)
iris$setosa <- factor(1*(iris$Species == 'setosa'))
iris.rf <- randomForest(setosa ~ ., data=iris[,-5])
summary(predict(iris.rf, iris[,-5]))
summary(iris.preds <- predict(iris.rf, iris[,-5], type = 'prob'))
preds <- iris.preds[,2]
plot(performance(prediction(preds, iris$setosa), 'tpr', 'fpr'))

给你你想要的东西。不同的分类包需要不同的命令来获得预测的概率 - 有时它是predict(..., type='probs')，predict(..., type='prob')[,2]等，所以只需查看您正在调用的每个函数的帮助文件。

Answer 3

这是你可以做到的：

将我们的数据放在csv文件中，（＆＃34; data_file.csv＆＃34;）但您可能需要在此处提供完整路径。在该文件中有列标题，我将在这里使用＆＃34; default_flag＆＃34;，＆＃34; var1＆＃34;，＆＃34; var2＆＃34;，＆＃34; var3＆＃34;，其中default_flag为0或1，其他变量具有任何值。 R代码：

rm(list=ls())
df <- read.csv("data_file.csv") #use the full path if needed
mylogit <- glm(default_flag ~  var1 + var2 + var3, family = "binomial" , data = df)

summary(mylogit)
library(ROCR)

df$score<-predict.glm(mylogit, type="response" )
pred<-prediction(df$score,df$default_flag)
perf<-performance(pred,"tpr", "fpr")
plot(perf)
auc<- performance(pred,"auc")
auc

请注意，df $ score将为您提供默认概率。如果您想使用此logit（相同的回归系数）来测试另一个用于交叉验证的数据df2，请使用

df2 <- read.csv("data_file2.csv")

df2$score<-predict.glm(mylogit,newdata=df2, type="response" )

pred<-prediction(df2$score,df2$default_flag)
perf<-performance(pred,"tpr", "fpr")
plot(perf)
auc<- performance(pred,"auc")
auc

Answer 4

问题是，正如其他人所指出的那样，ROCR中的预测需要数值。如果要从randomForest插入预测（作为ROCR中预测的第一个参数），则需要由type='prob'而不是type='response'生成该预测，这是默认值。或者，您可以获取type='response'结果并转换为数字（即，如果您的回答是，例如0/1）。但是当你绘制它时，ROCR会在ROC曲线上生成一个有意义的点。为了在您的ROC曲线上有许多点，您确实需要与每个预测相关联的概率 - 即在生成预测时使用type='prob'。

Answer 5

问题可能是您希望在多次运行中运行预测功能，例如交叉验证。

在这种情况下，对于预测（预测，标签，label.ordering = NULL）函数，“预测”和“标签”变量的类应该是列表或矩阵。

Answer 6

试试这个：

library(ROCR)
pred<-ROCR::prediction(bankrf.pred$y, bank_testing$c(0,1)

功能预测存在很多包。您应该明确指定（ROCR：:)以使用ROCR中的那个。这个对我有用。

使用ROCR包的R中的ROC曲线

6 个答案: