Question

我一直在探索R中的xgboost软件包并经历了几个演示以及教程，但这仍然让我感到困惑：在使用xgb.cv进行交叉验证后，最佳情况如何？参数传递给xgb.train？或者我应该根据nround的输出计算理想参数（例如max.depth，xgb.cv）？

param <- list("objective" = "multi:softprob",
              "eval_metric" = "mlogloss",
              "num_class" = 12)
cv.nround <- 11
cv.nfold <- 5
mdcv <-xgb.cv(data=dtrain,params = param,nthread=6,nfold = cv.nfold,nrounds = cv.nround,verbose = T)

md <-xgb.train(data=dtrain,params = param,nround = 80,watchlist = list(train=dtrain,test=dtest),nthread=6)

Answer 1

看起来你误解了xgb.cv，它不是参数搜索功能。它只进行k次交叉验证。

在您的代码中，它不会更改param的值。

要在R的XGBoost中找到最佳参数，有一些方法。这是两种方法，

（1）使用mlr包，http://mlr-org.github.io/mlr-tutorial/release/html/

Kaggle的Prudential挑战中有一个XGBoost + mlr example code，

但该代码用于回归，而不是分类。据我所知，mlogloss包中还没有mlr指标，因此您必须自己编写mlogloss测量值。 CMIIW。

（2）第二种方法，通过手动设置参数然后重复，例如，

param <- list(objective = "multi:softprob",
      eval_metric = "mlogloss",
      num_class = 12,
      max_depth = 8,
      eta = 0.05,
      gamma = 0.01, 
      subsample = 0.9,
      colsample_bytree = 0.8, 
      min_child_weight = 4,
      max_delta_step = 1
      )
cv.nround = 1000
cv.nfold = 5
mdcv <- xgb.cv(data=dtrain, params = param, nthread=6, 
                nfold=cv.nfold, nrounds=cv.nround,
                verbose = T)

然后，你找到最好的（最小）mlogloss，

min_logloss = min(mdcv[, test.mlogloss.mean])
min_logloss_index = which.min(mdcv[, test.mlogloss.mean])

min_logloss是mlogloss的最小值，而min_logloss_index是索引（round）。

您必须多次重复上述过程，每次手动更改参数（mlr为您重复此过程）。直到最后，你获得最佳的全球最低min_logloss。

注意：您可以在100或200次迭代的循环中执行此操作，其中对于每次迭代，您可以随机设置参数值。这样，您必须将最佳[parameters_list, min_logloss, min_logloss_index]保存在变量或文件中。

注意：最好根据set.seed()为可重现的结果设置随机种子。不同的随机种子产生不同的结果因此，您必须将[parameters_list, min_logloss, min_logloss_index, seednumber]保存在变量或文件中。

说最后你在3次迭代/重复中得到3个结果：

min_logloss = 2.1457, min_logloss_index = 840
min_logloss = 2.2293, min_logloss_index = 920
min_logloss = 1.9745, min_logloss_index = 780

然后您必须使用第三个参数（它具有min_logloss的全局最小1.9745）。您的最佳索引（nrounds）为780。

获得最佳参数后，请在培训中使用

# best_param is global best param with minimum min_logloss
# best_min_logloss_index is the global minimum logloss index
nround = 780
md <- xgb.train(data=dtrain, params=best_param, nrounds=nround, nthread=6)

我认为您在培训中不需要watchlist，因为您已经完成了交叉验证。但如果您仍想使用watchlist，那就没关系。

更好的是，您可以在xgb.cv中使用提前停止。

mdcv <- xgb.cv(data=dtrain, params=param, nthread=6, 
                nfold=cv.nfold, nrounds=cv.nround,
                verbose = T, early.stop.round=8, maximize=FALSE)

使用此代码，当mlogloss值未按8个步骤减少时，xgb.cv将停止。你可以节省时间。您必须将maximize设置为FALSE，因为您希望最小的mlogloss。

这是一个示例代码，具有100个迭代循环和随机选择的参数。

best_param = list()
best_seednumber = 1234
best_logloss = Inf
best_logloss_index = 0

for (iter in 1:100) {
    param <- list(objective = "multi:softprob",
          eval_metric = "mlogloss",
          num_class = 12,
          max_depth = sample(6:10, 1),
          eta = runif(1, .01, .3),
          gamma = runif(1, 0.0, 0.2), 
          subsample = runif(1, .6, .9),
          colsample_bytree = runif(1, .5, .8), 
          min_child_weight = sample(1:40, 1),
          max_delta_step = sample(1:10, 1)
          )
    cv.nround = 1000
    cv.nfold = 5
    seed.number = sample.int(10000, 1)[[1]]
    set.seed(seed.number)
    mdcv <- xgb.cv(data=dtrain, params = param, nthread=6, 
                    nfold=cv.nfold, nrounds=cv.nround,
                    verbose = T, early.stop.round=8, maximize=FALSE)

    min_logloss = min(mdcv[, test.mlogloss.mean])
    min_logloss_index = which.min(mdcv[, test.mlogloss.mean])

    if (min_logloss < best_logloss) {
        best_logloss = min_logloss
        best_logloss_index = min_logloss_index
        best_seednumber = seed.number
        best_param = param
    }
}

nround = best_logloss_index
set.seed(best_seednumber)
md <- xgb.train(data=dtrain, params=best_param, nrounds=nround, nthread=6)

使用此代码，您可以运行100次交叉验证，每次都使用随机参数。然后你得到最好的参数集，即迭代中最小的min_logloss。

增加early.stop.round的值，以防你发现它太小（太早停止）。您还需要根据数据特征更改随机参数值的限制。

而且，对于100或200次迭代，我认为您希望将verbose更改为FALSE。

旁注：这是随机方法的示例，您可以调整它，例如通过贝叶斯优化获得更好的方法。如果你有XGBoost的Python版本，那么XGBoost有一个很好的超参数脚本，https://github.com/mpearmain/BayesBoost可以搜索使用贝叶斯优化设置的最佳参数。

编辑：我想在Kaggle forum添加第3个手动方法，由“Davut Polat”发布，是一个Kaggle大师。

编辑：如果您了解Python和sklearn，您还可以使用GridSearchCV以及xgboost.XGBClassifier或xgboost.XGBRegressor

Answer 2

这是一个很好的问题， silo 给出了很多详细的答复！我发现这对像我这样的["c", "elery"]新手来说非常有帮助。谢谢。随机化并与边界进行比较的方法很有启发性。很好使用和知道。现在，在2018年需要进行一些修改，例如，xgboost应该为early.stop.round。输出early_stopping_rounds的组织方式略有不同：

mdcv

并根据应用程序（线性，逻辑等），min_rmse_index <- mdcv$best_iteration min_rmse <- mdcv$evaluation_log[min_rmse_index]$test_rmse_mean，objective和参数应进行相应调整。

为便于运行回归的任何人，这是经过稍微调整的代码版本（大多数与上面的代码相同）。

eval_metric

Answer 3

我发现筒仓的答案非常有帮助。除了他的随机研究方法外，您可能还想使用贝叶斯优化来促进超参数搜索的过程，例如rBayesianOptimization library。以下是我的带有rbayesianoptimization库的代码。

cv_folds <- KFold(dataFTR$isPreIctalTrain, nfolds = 5, stratified = FALSE, seed = seedNum)
xgb_cv_bayes <- function(nround,max.depth, min_child_weight, subsample,eta,gamma,colsample_bytree,max_delta_step) {
param<-list(booster = "gbtree",
            max_depth = max.depth,
            min_child_weight = min_child_weight,
            eta=eta,gamma=gamma,
            subsample = subsample, colsample_bytree = colsample_bytree,
            max_delta_step=max_delta_step,
            lambda = 1, alpha = 0,
            objective = "binary:logistic",
            eval_metric = "auc")
cv <- xgb.cv(params = param, data = dtrain, folds = cv_folds,nrounds = 1000,early_stopping_rounds = 10, maximize = TRUE, verbose = verbose)

list(Score = cv$evaluation_log$test_auc_mean[cv$best_iteration],
     Pred=cv$best_iteration)
# we don't need cross-validation prediction and we need the number of rounds.
# a workaround is to pass the number of rounds(best_iteration) to the Pred, which is a default parameter in the rbayesianoptimization library.
}
OPT_Res <- BayesianOptimization(xgb_cv_bayes,
                              bounds = list(max.depth =c(3L, 10L),min_child_weight = c(1L, 40L),
                                            subsample = c(0.6, 0.9),
                                            eta=c(0.01,0.3),gamma = c(0.0, 0.2),
                                            colsample_bytree=c(0.5,0.8),max_delta_step=c(1L,10L)),
                              init_grid_dt = NULL, init_points = 10, n_iter = 10,
                              acq = "ucb", kappa = 2.576, eps = 0.0,
                              verbose = verbose)
best_param <- list(
booster = "gbtree",
eval.metric = "auc",
objective = "binary:logistic",
max_depth = OPT_Res$Best_Par["max.depth"],
eta = OPT_Res$Best_Par["eta"],
gamma = OPT_Res$Best_Par["gamma"],
subsample = OPT_Res$Best_Par["subsample"],
colsample_bytree = OPT_Res$Best_Par["colsample_bytree"],
min_child_weight = OPT_Res$Best_Par["min_child_weight"],
max_delta_step = OPT_Res$Best_Par["max_delta_step"])
# number of rounds should be tuned using CV
#https://www.hackerearth.com/practice/machine-learning/machine-learning-algorithms/beginners-tutorial-on-xgboost-parameter-tuning-r/tutorial/
# However, nrounds can not be directly derivied from the bayesianoptimization function
# Here, OPT_Res$Pred, which was supposed to be used for cross-validation, is used to record the number of rounds
nrounds=OPT_Res$Pred[[which.max(OPT_Res$History$Value)]]
xgb_model <- xgb.train (params = best_param, data = dtrain, nrounds = nrounds)

R中的xgboost：xgb.cv如何将最佳参数传递给xgb.train

3 个答案: