是否可以基于一些措施在嵌套CV的内循环中选择最佳超参数？

Question

是否有可能基于一些度量（多标准评估）在嵌套CV的内部重采样循环中选择最佳的超参数组合？如果不是，是否可以添加新度量，以现有度量的比率计算？ 我一直在阅读软件包中的makeTuneMultiCritControl和tuneParamsMultiCrit函数，但是对如何在嵌套重采样中应用它们有一个了解。

在此问题上的建议，我将不胜感激。问候

Answer 1

此外，我想添加一个基于tpr＆tnr的新度量（True Skill Statistic）。我想知道下面的代码是否有点接近所需的

# define a function to calculate TSS
tss.fun = function(task, model, pred, feats, extra.args) {
 predicted <- getPredictionResponse(pred)
 actual <- getPredictionTruth(pred)
 vec <-  ifelse(actual==0 & predicted==0,"TN",
              ifelse(actual==0 & predicted==1,"FP",
                     ifelse(actual==1 & predicted==0,"FN","TP")))
 cm <- table(vec)
 (cm["TP"]/(cm["TP"]+cm["FN"])) + (cm["TN"]/(cm["TN"]+cm["FP"])) - 1
}

^{由reprex package（v0.3.0）于2019-07-18创建}