如果我在XGB模型中具有主导功能，该怎么办？

Question

我最近在我的数据集中遇到了“奇怪”的观察。在对具有20个特征的XGB建模之后，我绘制了具有最高增益值的前10个特征。结果如下所示：

F1         140027.061202
F2          11242.470370
F3           9957.161039
F4           9677.070632
F5           7103.275865
F6           4691.814929
F7           4030.730915
F8           2775.235616
F9           2384.573760
F10          2328.680871

如您所见，与所有其他功能相比， F1 占主导地位（增益比F2高12倍）。我验证了测试集上的结果，该模型没有过拟合，并且给出了不错的结果（与我的成绩相比）：

F1-score: 0.739812237993 
Accuracy: 0.839632893701 
Precision: 0.63759578607
Recall: 0.881059718486

基于这些结果，是否可以正确地推断出F1功能足以构建模型？

为了证明这一点，我使用相同的参数重新运行了建模，但是现在将F1作为独立功能。结果仅比以前稍差（并且没有过度拟合）：

F1-score: 0.710906846703 
Accuracy: 0.819880412472 
Precision: 0.607953806173
Recall: 0.85583736242

在两种情况下，我的XGB参数都非常简单：

alg = XGBRegressor( 
    n_estimators=200,
    max_depth=5,
    objective='binary:logistic', 
    seed=27,
)

# Fit the algorithm on the data
metric = 'map'
alg.fit(X_train, y_train, eval_metric=metric)

在排除特征F1并重新拟合模型后，我得到了相似的验证指标（稍差一些），但是在那种情况下，特征F3变成了“显性”，并具有很高的增益〜10000，而特征F2是下一个具有增益的模型值〜10000。

1. 是否存在通过对F1进行某些转换来增强其他功能并提高准确性（或F1得分）的技术？
2. 有什么方法可以均衡特征增益并改善模型吗？
3. 我应该尝试“收集”更多与F1具有可比性的功能吗？

谢谢！

Answer 1

您是否尝试过添加和调整其他参数并使用网格搜索来找到最佳组合？为了防止过度拟合，我建议添加：

• colsample_bytree：构造每棵树时列的子采样率
• 子样本：训练实例的子样本比率
• min_child_weight：防止特定于特定样本的学习关系

由于您使用的是XGBRegressor，请尝试修改目标函数。我还可以建议在构建树时监视验证和培训损失。

Reference documentation