Question

我在执行决策树模型后尝试计算混淆矩阵

# tree model
tree <- rpart(LoanStatus_B ~.,data=train, method='class')
# confusion matrix
pdata <- predict(tree, newdata = test, type = "class")
confusionMatrix(data = pdata, reference = test$LoanStatus_B, positive = "1")

如何将阈值设置为我的混淆矩阵，也就是说我希望默认值大于0.2，这是二元结果。

Answer 1

这里有几点需要注意。首先，确保在进行预测时获得课堂概率。对于预测类型="class"，您只是获得离散类，所以您想要的是不可能的。因此，您需要像我的下面那样"p"。

library(rpart)
data(iris)

iris$Y <- ifelse(iris$Species=="setosa",1,0)

# tree model
tree <- rpart(Y ~Sepal.Width,data=iris, method='class')

# predictions
pdata <- as.data.frame(predict(tree, newdata = iris, type = "p"))
head(pdata)

# confusion matrix
table(iris$Y, pdata$`1` > .5)

接下来请注意.5这里只是一个任意值 - 您可以将其更改为您想要的任何值。

我没有理由使用confusionMatrix函数，因为可以通过这种方式创建混淆矩阵，并且可以实现轻松更改截止值的目标。

话虽如此，如果您确实想要将confusionMatrix函数用于混淆矩阵，那么首先根据您的自定义截止值创建一个离散类预测：

pdata$my_custom_predicted_class <- ifelse(pdata$`1` > .5, 1, 0)

同样，.5是您自定义选择的截止值，可以是您想要的任何值。

caret::confusionMatrix(data = pdata$my_custom_predicted_class, 
                  reference = iris$Y, positive = "1")

Confusion Matrix and Statistics

          Reference
Prediction  0  1
         0 94 19
         1  6 31

               Accuracy : 0.8333          
                 95% CI : (0.7639, 0.8891)
    No Information Rate : 0.6667          
    P-Value [Acc > NIR] : 3.661e-06       

                  Kappa : 0.5989          
 Mcnemar's Test P-Value : 0.0164          

            Sensitivity : 0.6200          
            Specificity : 0.9400          
         Pos Pred Value : 0.8378          
         Neg Pred Value : 0.8319          
             Prevalence : 0.3333          
         Detection Rate : 0.2067          
   Detection Prevalence : 0.2467          
      Balanced Accuracy : 0.7800          

       'Positive' Class : 1

设置决策树的概率结果的阈值

1 个答案: