Question

我首先使用ROCR包计算AUROC（ROC曲线的AUC），然后手动（使用我的get_au_curve()函数），如下所示。

不幸的是，这两个结果并不一致。我假设ROCR的结果是正确的。这个问题是我的函数近似吗？

rm(list=ls())
if(!require("ROCR")) { install.packages("ROCR");  require("ROCR") }

# Function to return area under the curve for ROC or PR curves
get_au_curve <- function(x, y)  {

  pr_perf <- performance(pred, measure=y, x.measure=x )
  x_list <- pr_perf@x.values[[1]]
  y_list <- pr_perf@y.values[[1]]

  if (y == "prec") { # if it is an Area under PR curve, impute precision[1], whcih is NaN, with 1
    y_list[is.na(y_list)] <-1  }

  f_appr <- approxfun( cbind(x_list, y_list) ) # function approximator for prediction-recall or ROC curve
  auc <- integrate(f_appr, 0, 1)

  return(auc$value)
}

predictions <- c(0.61, 0.36, 0.43, 0.14, 0.38, 0.24, 0.97, 0.89, 0.78, 0.86)
labels      <- c(1,    1,    1,    0,    0,     1,    1,    1,    0,     1)

pred <- prediction(predictions, labels)

# AUROC
# 1 Using ROCR
perf2 <- performance(pred, "auc")
auroc<- perf2@y.values

# 2. Using the function I wrote
auroc_manual <- get_au_curve('fpr', 'tpr')

这给出了结果：

> auroc_manual
[1] 0.6785714
> auroc
[[1]]
[1] 0.7142857

Answer 1

approxfun不适合计算ROC曲线。 x中的关联值被平均，并计算x之间的插值。比较：

plot(x_list, y_list, type="l")
curve(f_appr)

您应该使用caTools::trapz或类似的函数来计算具有梯形规则的AUC。

ROCR包AUROC输出与手动计算不同

1 个答案: