为什么我的精度调用和ROC曲线不平滑？

Question

我有一些数据标记为0或1，我正在尝试使用随机森林预测这些类别。每个实例都标记有20个用于训练随机森林的功能（约30.000个训练实例和约6000个测试实例。

我正在使用以下代码绘制精度调用和ROC曲线：

precision, recall, _ = precision_recall_curve(y_test, y_pred)
plt.step(recall, precision, color='b', alpha=0.2,where='post')
plt.fill_between(recall, precision, step='post', alpha=0.2, color='b')

fpr, tpr, _ = roc_curve(y_test, y_pred)
roc_auc = auc(fpr, tpr)
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')

到目前为止，我所看到的所有PR和ROC曲线的精度/调用率始终呈锯齿状/平滑下降，而ROC线却呈平滑/锯齿状上升。但是由于某种原因，我的PR和ROC曲线总是像这样：

由于某些原因，它们只有一个可以改变方向的点。这是由于我的编码错误还是由于数据/分类问题所固有的？如果是这样，如何解释这种行为？

Answer 1

我怀疑您使用了RandomForestClassifier.predict（）方法，根据预测的类，结果为0或1。

要获取概率（即为特定类别投票的树木分数），必须使用RandomForestClassifier.predict_proba（）方法。

使用这些概率作为曲线计算的输入应该可以解决问题。

编辑：scikit-learn的曲线创建方法首先根据预测分数对预测进行排序，然后根据其实际/观测值对它们进行分类，因此曲线具有这些“弯曲”。

Answer 2

在config.secret_key = ENV['DEVISE_SECRET_KEY'] if Rails.env.production? 内，precision_recall_curve必须是目标类别的y_pred，并且不是实际的预测类别。

由于您使用的是probabilities，因此请使用predict_proba(X)来获得概率。

RandomForestClassifier