各种模型的提取和绘图K折叠结果

Question

我必须构建几个模型并通过10倍CV

验证它们的稳定性

我有以下代码用于逻辑回归和nnet  例如

mod_fitlog <- train(form,  data=x, method="glm", family="binomial",
                 trControl = ctrl, tuneLength = 5,verbose=T,metric='auc')

mod_fitnnet <- train(form,  data=x, method="nnet",preProcess = "range",
                trace = FALSE, maxit = 100)

现在我想提取10 cv运行的结果，即每次建模10个aucs并绘制它们 - 基本上判断哪个模型更稳定，哪个不具有更高的方差。

Answer 1

我建议您查看pipelearner，这是为了完成此类任务而编写的。