XGBoost - 使用XGBRegressor进行功能选择

时间:2017-06-22 12:49:18

标签: python xgboost

我正在尝试按XGBRegressor()执行功能选择(针对回归任务)。

更确切地说,我想知道:

  • 如果有类似方法的话 feature_importances_,与XGBClassifier一起使用,我可以将其用于回归。
  • 如果XGBoost的方法plot_importance()XGBRegressor()
  • 一起使用时可靠

2 个答案:

答案 0 :(得分:1)

最后我通过以下方式解决了这个问题:

model.booster().get_score(importance_type='weight')

答案 1 :(得分:1)

这是我的解决方案(Xnames指的是功能名称):

def xgb_feature_importance(model_xgb, fnames=None):
    b = model_xgb.booster()
    fs = b.get_fscore()
    all_features = [fs.get(f, 0.) for f in b.feature_names]
    all_features = np.array(all_features, dtype=np.float32)
    all_features_imp = all_features / all_features.sum()
    if fnames is not None:
        return pd.DataFrame({'X':fnames, 'IMP': all_features_imp})
    else:
        return all_features_imp