Question

我使用Scikit-Learn Python API在Python中训练了xgboost模型，并使用pickle库对其进行了序列化。我将模型上传到ML Engine，但是当我尝试进行在线预测时，出现以下异常：

Prediction failed: Exception during xgboost prediction: can not initialize DMatrix from DMatrix

我用于预测的json示例如下：

{  
   "instances":[  
      [  
         24.90625,
         21.6435643564356,
         20.3762376237624,
         24.3679245283019,
         30.2075471698113,
         28.0947368421053,
         16.7797359774725,
         14.9262079299572,
         17.9888028979966,
         15.3333284503293,
         19.6535308744024,
         17.1501961307627,
         0.0,
         0.0,
         0.0,
         0.0,
         0.0,
         509.0,
         497.0,
         439.0,
         427.0,
         407.0,
         1.0,
         1.0,
         1.0,
         1.0,
         1.0,
         2.0,
         23.0,
         10.0,
         58.0,
         11.0,
         20.0,
         23.3617021276596,
         23.3617021276596,
         23.3617021276596,
         23.3617021276596,
         23.3617021276596,
         23.9423076923077,
         26.3082269243683,
         23.6212606363851,
         22.6752334301282,
         27.4343583104833,
         34.0090408101173,
         11.1991944104063,
         7.33420726455092,
         8.15160392948917,
         11.4119236389594,
         17.9429092915607,
         18.0573102225845,
         32.8902876598084,
         -0.00286123032904149,
         -0.00286123032904149,
         -0.00286123032904149,
         -0.00286123032904149,
         -0.00286123032904149,
         -0.0028328611898017,
         0.0534138904223018,
         0.0534138904223018,
         0.0534138904223018,
         0.0534138904223018,
         0.0534138904223018,
         0.0531491870801522
      ]
   ]
}

我使用以下代码来训练我的模型：

def _train_model(X, y):
    clf = xgb.XGBClassifier(max_depth=6,
                            learning_rate=0.01,
                            n_estimators=100,
                            n_jobs=-1)
    clf.fit(X, y)
    return clf

X和y均为numpy.ndarray的地方：

Type of X: <class 'numpy.ndarray'> Type of y: <class 'numpy.ndarray'>

我还使用xgboost 0.72.1，Python 3.5和ML运行时1.9。

任何人都知道问题的根源是什么？

谢谢！

Answer 1

问题似乎是由于酸洗引起的。我能够重现它并进行修复，但是同时您可以尝试像下面那样导出分类器吗？

clf._Booster.save_model('./model.bst')

那应该暂时解除您的封锁。如果没有，请随时与cloudml-feedback@google.com接触。

Answer 2

当我尝试使用以.pkl格式转储的经过训练的XGBoost模型对测试数据进行评分时，也遇到了类似的问题或功能不匹配。但是，在将模型保存为.bst格式后，我能够对相同的训练数据进行评分而没有任何问题。看来XGBoost的.pkl和.bst格式的两种实现方式有所不同。

Answer 3

再往前走一点，回答上面关于库萨加载存储模型的问题：

保存模型：

clf._Booster.save_model('./model.bst')

加载保存的模型：

model = xgboost.Booster({'nthread': 4})  # initialize before loading model
model.load_model('./model.bst')  # load model

这消除了我在模型上使用pickle遇到的两个问题。问题1是一个奇怪的例子：ValueError：feature_names不匹配：

还要检查是否在加载的模型上使用了predict_proba，并得到了一个奇怪的异常。解决该问题的方法只是使用直接预测函数Vice_proba。

xgboost预测期间发生异常：无法从DMatrix初始化DMatrix

3 个答案: