Question

xgb.cv和sklearn.model_selection.cross_validate不会产生相同的平均训练/测试错误，即使我设置相同的seed / random_state并确保两种方法使用相同的折叠倍数也是如此。底部的代码可以重现我的问题。

我发现此问题是由subsample参数引起的（如果将此参数设置为1，则两种方法都将产生相同的结果），但是我找不到找到使两种方法以相同方式进行子采样的方法。除了如底部代码中所示设置seed / random_state之外，我还尝试了显式添加：

import random
random.seed(1)
np.random.seed(1)

在文件的开头，但这也不能解决我的问题。有什么想法吗？

import numpy as np
import xgboost as xgb
from xgboost import XGBClassifier
from sklearn.model_selection import cross_validate, StratifiedKFold

X = np.random.randn(100,20)
y = np.random.randint(0,2,100)
dtrain = xgb.DMatrix(X, label=y)

params = {'eta':0.3,
          'max_depth': 4,
          'gamma':0.1,
          'silent': 1,
          'objective': 'binary:logistic',
          'seed': 1,
          'subsample': 0.8
         }

cv_results = xgb.cv(params, dtrain, num_boost_round=99, seed=1,
                    folds=StratifiedKFold(5, shuffle=False, random_state=1),
                    early_stopping_rounds=10)
print(cv_results, '\n')

xgbc = XGBClassifier(learning_rate=0.3, 
                     max_depth=4, 
                     gamma=0.1, 
                     silent = 1,  
                     objective = 'binary:logistic',
                     subsample = 0.8,
                     random_state = 1,
                     n_estimators=len(cv_results))
scores = cross_validate(xgbc, X, y, 
                        cv=StratifiedKFold(5, shuffle=False, random_state=1), 
                        return_train_score=True)
print('train-error-mean = {}   test-error-mean = {}'.format(
             1-scores['train_score'].mean(), 1-scores['test_score'].mean()))

输出：

   train-error-mean  train-error-std  test-error-mean  test-error-std
0          0.214981         0.030880         0.519173        0.129533
1          0.140039         0.018552         0.549549        0.034696
2          0.105100         0.017420         0.510501        0.040517
3          0.092474         0.012587         0.450977        0.075866 

train-error-mean = 0.06994061572120636   test-error-mean = 0.4706015037593986

子样本设置为1时的输出：

   train-error-mean  train-error-std  test-error-mean  test-error-std
0          0.180043         0.013266         0.491504        0.093246
1          0.117381         0.021328         0.488070        0.097733
2          0.074972         0.030605         0.530075        0.091446
3          0.044907         0.032232         0.519073        0.130802
4          0.032438         0.021816         0.481027        0.080622 

train-error-mean = 0.032438271604938285   test-error-mean = 0.4810275689223057

Answer 1

对于LGBM，我肯定知道，但是从XGB代码（here）的快速代码来看，它似乎具有类似的行为，因此我认为答案是相关的。

诀窍在于尽早停止。原生xgb.cv定义了一个单个迭代，其平均CV得分（或类似的平均值，我现在已经忘了:)达到平稳状态，而在每个sklearn交叉验证模型中褶皱是独立训练的，因此对于不同的褶皱来说，早期停止发生在不同的迭代中。

因此，如果您想获得相同的结果，请禁用早期停止（这是有问题的，因为您可能过度适应或适应不足，并且您不知道这一点）。如果要使用早期停止功能-由于实现方式的不同，无法获得相同的结果

如何控制子采样，使xgb.cv和cross_validate产生相同的结果？

1 个答案: