Question

在调整模型时产生的ROC / Sens / Spec与模型在同一数据集上进行的实际预测之间似乎存在差异。我正在使用使用kernlab的ksvm的插入符号。我没有遇到glm这个问题。

data(iris)
library(caret)
iris <- subset(iris,Species == "versicolor" | Species == "setosa") # we need only two output classess
iris$noise <- runif(nrow(iris)) # add noise - otherwise the model is too "perfect"
iris$Species <- factor(iris$Species)
fitControl <- trainControl(method = "repeatedcv",number = 10, repeats = 5, savePredictions = TRUE, classProbs = TRUE, summaryFunction = twoClassSummary)

ir <- train(Species ~ Sepal.Length + noise, data=iris,method = "svmRadial", preProc = c("center", "scale"), trControl=fitControl,metric="ROC")
confusionMatrix(predict(ir), iris$Species, positive = "setosa")
getTrainperf(ir) # same as in the model summary

这种差异的根源是什么？哪些是“真实的”后交叉验证预测？

Answer 1

似乎函数getTrainPerf给出了重复交叉验证折叠中平均最佳调整参数的平均性能结果。

以下是getTrainPerf的工作原理：

getTrainPerf(ir) 
#  TrainROC TrainSens TrainSpec    method
#1   0.9096     0.844     0.884 svmRadial

通过以下方式实现：

ir$results
#      sigma    C    ROC  Sens  Spec      ROCSD    SensSD    SpecSD
#1 0.7856182 0.25 0.9064 0.860 0.888 0.09306044 0.1355262 0.1222911
#2 0.7856182 0.50 0.9096 0.844 0.884 0.08882360 0.1473023 0.1218229
#3 0.7856182 1.00 0.8968 0.836 0.884 0.09146071 0.1495026 0.1218229
ir$bestTune
#      sigma   C
#2 0.7856182 0.5
merge(ir$results, ir$bestTune)
#      sigma   C    ROC  Sens  Spec     ROCSD    SensSD    SpecSD
#1 0.7856182 0.5 0.9096 0.844 0.884 0.0888236 0.1473023 0.1218229

也可以从交叉验证折叠的性能结果中获得（每次性能测量的10倍，5次重复，10 * 5 = 50总值）。

colMeans(ir$resample[1:3])
#     ROC   Sens   Spec 
#  0.9096 0.8440 0.8840

因此，getTrainPerf仅提供数据折叠的交叉验证性能摘要，以便在不同时间（而不是整个训练数据集）保持验证，并使用最佳调整参数（sigma，C）

但是，如果您想要预测整个训练数据集，则需要将predict函数与调整后的模型一起使用。

对插入符号和svm

1 个答案: