我执行惩罚性逻辑回归,并使用插入符号( glmnet )训练模型。
model_fit <- train(Data[,-1], Data[,1],
method = "glmnet",
family="binomial",
metric = "ROC",
maximize="TRUE",
trControl = ctrl,
preProc = c("center", "scale"),
tuneGrid=expand.grid(.alpha=0.5,.lambda=lambdaSeq)
)
根据插入符号文档,函数train
&#34; [...]计算基于重采样的性能指标&#34;和&#34;在每个数据集中,计算保留样本的性能,并总结每种组合的平均值和标准差。&#34;
results
是&#34;数据框&#34; (包含)&#34;训练错误率和调整参数的值。&#34;
model_fit$results$ROC
是一个向量(大小等于我的调整参数lambda
的大小)的重新采样性能指标的平均值吗? (而不是在为lambda
的每个值重新估计整个样本的模型后,对整个样本计算的性能指标?)
答案 0 :(得分:2)
model_fit$results$ROC
是一个向量(大小等于我的调整参数lambda
的大小),是重新采样的性能指标均值吗?
是的;确切地说,长度将等于tuneGrid
的行数,这恰好与lambdaSeq
的长度一致(因为唯一的其他参数alpha
,被保持不变)。
以下是一个快速示例,改编自caret
docs(它与gbm
和Accuracy
指标相符,但想法相同):
library(caret)
library(mlbench)
data(Sonar)
set.seed(998)
inTraining <- createDataPartition(Sonar$Class, p = .75, list = FALSE)
training <- Sonar[ inTraining,]
testing <- Sonar[-inTraining,]
fitControl <- trainControl(method = "cv",
number = 5)
set.seed(825)
gbmGrid <- expand.grid(interaction.depth = 3,
n.trees = (1:3)*50,
shrinkage = 0.1,
n.minobsinnode = 20)
gbmFit1 <- train(Class ~ ., data = training,
method = "gbm",
trControl = fitControl,
tuneGrid = gbmGrid,
## This last option is actually one
## for gbm() that passes through
verbose = FALSE)
这里,gbmGrid
有3行,即它只包含三(3)个不同的n.trees
值,其他参数保持不变;因此,相应的gbmFit1$results$Accuracy
将是长度为3的向量:
gbmGrid
# interaction.depth n.trees shrinkage n.minobsinnode
# 1 3 50 0.1 20
# 2 3 100 0.1 20
# 3 3 150 0.1 20
gbmFit1$results
# shrinkage interaction.depth n.minobsinnode n.trees Accuracy Kappa AccuracySD KappaSD
# 1 0.1 3 20 50 0.7450672 0.4862194 0.05960941 0.1160537
# 2 0.1 3 20 100 0.7829704 0.5623801 0.05364031 0.1085451
# 3 0.1 3 20 150 0.7765188 0.5498957 0.05263735 0.1061387
gbmFit1$results$Accuracy
# [1] 0.7450672 0.7829704 0.7765188
返回的3个Accuracy
值中的每一个都是我们用作重采样技术的5倍交叉验证的验证折叠中的度量标准的结果;更确切地说,它是在这5个折叠中计算出的验证精度的均值(并且您可以看到有一个AccuracySD
列,其中也包含其标准差)。
并不是在为每个lambda值重新估计整个样本的模型后,对整个样本计算的性能指标?
正确,不是那样。