Question

我正在使用mlr和mlrMBO软件包进行嵌套交叉验证。内部CV用于参数化（例如，找到最佳参数）。由于我想比较不同学习者的表现，因此我使用mlr的基准函数进行了基准实验。我的问题如下：是否可以对参数化模型/学习器进行置换？当我在基准实验中使用的学习者上调用 generateFeatureImportanceData 时，将再次估算模型（忽略序列优化学习的参数化）。这是虹膜数据集上的一些代码，用于说明我的问题（无需预处理，仅用于说明）。

    library(dplyr)
    library(mlr)
    library(mlrMBO)
    library(e1071)

    nr_inner_cv <- 3L
    nr_outer_cv <- 2L

    inner = makeResampleDesc(
      "CV"
      , iters = nr_inner_cv  # folds used in tuning/bayesian optimization)

    learner_knn_base = makeLearner(id = "knn", "classif.knn")

    par.set = makeParamSet(
      makeIntegerParam("k", lower = 2L, upper = 10L)
    )

    ctrl = makeMBOControl()
    ctrl <- makeMBOControl(propose.points = 1L)
    ctrl <- setMBOControlTermination(ctrl, iters = 10L)
    ctrl <- setMBOControlInfill(ctrl, crit = crit.ei, filter.proposed.points = TRUE)
    set.seed(500)
    tune.ctrl <- makeTuneControlMBO(
      mbo.control = ctrl,
      mbo.design = generateDesign(n = 10L, par.set = par.set)
    )

    learner_knn = makeTuneWrapper(learner = learner_knn_base
                                           , resampling = inner
                                           , par.set = par.set
                                           , control = tune.ctrl
                                           , show.info = TRUE
                                  )

    learner_nb <- makeLearner(
      id = "naiveBayes"
      ,"classif.naiveBayes"
    )

    lrns = list(
      learner_knn
      , learner_nb
    )

    rdesc = makeResampleDesc("CV", iters = nr_outer_cv)

    set.seed(12345)
    bmr = mlr::benchmark(lrns, tasks = iris.task, show.info = FALSE,
                         resamplings = rdesc, models = TRUE, keep.extract = TRUE)

Answer 1

我认为这是一个我们经常遇到的普遍问题：我可以在CV中安装的模型上执行XY吗？简短的答案：是的，您可以，但是您真的想要吗？

详细答案

类似的Q：

mlr: retrieve output of generateFilterValuesData within CV loop
R - mlr: Is there a easy way to get the variable importance of tuned support vector machine models in nested resampling (spatial)?

正如@ jakob-r的评论所示，有两种选择：

您可以在CV外部重新创建模型并在其上调用所需的函数
您可以通过extract中的resample()参数在相应折叠的每个拟合模型的CV中进行操作。另请参见上面链接的Q2。

1）如果要在所有型号上执行此操作，请参见下面的2）。如果您只想在某些折痕模型上进行操作：您使用哪条标准来选择那些？

2）占用大量计算资源，您可能想问为什么要这样做-即，您想对每个折页模型的所有信息做什么？

总的来说，我从来没有见过应用过的研究/用例。您在CV中所做的一切都有助于估算每折的性能值。您不希望随后与这些模型进行交互。

您宁愿估计非分区数据集上特征的重要性一次（emem ）（为此，您已经预先优化了hyperpars ）。这以相同的方式应用于ML模型的其他诊断方法：将它们应用于“完整数据集”，而不是应用于CV中的每个模型。

MLR：如何为顺序MBO参数化模型计算置换特征的重要性？

1 个答案:

详细答案