Question

下面是一个随机森林，它使用Zach Mayer的multiClassSummary函数在三个结果的虹膜数据集上构建：

require('caret')

data(iris)
ir.dat <- iris

tc<-trainControl("repeatedcv", repeats=5, num=2,
             selectionFunction="oneSE",
             returnData=T, classProbs = T, 
             summaryFunction=multiClassSummary, 
             savePredictions = T)

ir.train <- train(Species ~ .,
              data = ir.dat,
              method = "rf",
              trControl = tc)


## Results

ir.train$finalModel$confusion

               setosa versicolor virginica class.error
    setosa         50          0         0        0.00
    versicolor      0         47         3        0.06
    virginica       0          4        46        0.08

ir.train$bestTune
ir.train$results[1,c(4,6:7)]      

    Accuracy Mean_Sensitivity Mean_Specificity
    0.952            0.952            0.976

现在，我想了解这些边际统计数据是如何根据模型的混淆矩阵计算的（或者如果它们是根据给定的混淆矩阵计算的话）。我知道每个性能指标的公式，它们是：

Sensitivity = sum(True Positive)/sum(Condition Positive)
Specificity= sum(True Negative)/sum(Condition Negative)
Accuracy = Sensitivity  + Specificity // sum(Total Population)

另外，我知道multiClassSummary函数在有两个以上的结果类别时使用一对一的方法来计算这些边际统计数据。但是，当我尝试从给定的混淆矩阵手动重建计算时，我的结果并不相同。例如，我计算：

Sensitivity = (50/50) + (47/50) + (46/50) = 2.86/3 = 0.9533
Specificity = (50/50) + (47/50) + (46/50) = 2.86/3 = 0.9533
Accuracy = Sensitivity + Specificity//150 = 0.9533

在我的计算中，每个班级都需要一个＆＃34;转弯＆＃34;作为积极和消极的结果。显然，这些结果与模型的输出不匹配，也没有很多意义，因为它们都具有相同的值。任何人都可以了解如何根据多类情境中的模型混淆矩阵计算这些边际统计量吗？

Answer 1

请注意，ir.train$finalModel$confusion包由randomForest包使用OOB统计信息生成，与ir.train$results使用的混淆矩阵没有直接关系。这是基于外部重采样程序。

任何人都可以了解如何根据多类情境中的模型混淆矩阵计算这些边际统计量吗？

当然！

> multiClassSummary ## Edited for space
function (data, lev = NULL, model = NULL) 
{
  ## <snip>
  has_class_probs <- all(lev %in% colnames(data))
  if (has_class_probs) {
    lloss <- mnLogLoss(data = data, lev = lev, model = model)
    requireNamespaceQuietStop("ModelMetrics")
    prob_stats <- lapply(levels(data[, "pred"]), function(x) {
      obs <- ifelse(data[, "obs"] == x, 1, 0)
      prob <- data[, x]
      AUCs <- try(ModelMetrics::auc(obs, data[, x]), silent = TRUE)
      return(AUCs)
    })
    roc_stats <- mean(unlist(prob_stats))
  }
  CM <- confusionMatrix(data[, "pred"], data[, "obs"])
  if (length(levels(data[, "pred"])) == 2) {
    class_stats <- CM$byClass
  }
  else {
    class_stats <- colMeans(CM$byClass)
    names(class_stats) <- paste("Mean", names(class_stats))
  }
  overall_stats <- if (has_class_probs) 
    c(CM$overall, logLoss = lloss, ROC = roc_stats)
  else CM$overall
  if (length(levels(data[, "pred"])) > 2) 
    names(overall_stats)[names(overall_stats) == "ROC"] <- "Mean_AUC"

  ## <snip>
}

重新创建＆＃34; multiClassSummary＆＃34;最终模型混淆矩阵的统计数据

1 个答案: