Question

我无法理解scikit-learn中roc_auc_score()和auc()之间的区别（如果有的话）。

我想用不平衡的类预测二进制输出（Y = 1时约为1.5％）。

分类

model_logit = LogisticRegression(class_weight='auto')
model_logit.fit(X_train_ridge, Y_train)

Roc曲线

false_positive_rate, true_positive_rate, thresholds = roc_curve(Y_test, clf.predict_proba(xtest)[:,1])

AUC的

auc(false_positive_rate, true_positive_rate)
Out[490]: 0.82338034042531527

和

roc_auc_score(Y_test, clf.predict(xtest))
Out[493]: 0.75944737191205602

有人可以解释这种差异吗？我以为两者都只计算ROC曲线下的面积。可能是因为数据集不平衡，但我无法弄清楚原因。

谢谢！

Answer 1

AUC并不总是ROC曲线下的面积。 “曲线下面积”是某些曲线下的（抽象）区域，因此它比AUROC更通用。对于不平衡的类，最好为精确回忆曲线找到AUC。

请参阅<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-antrun-plugin</artifactId> <version>1.7</version> <executions> <execution> <id>move-applet-jar-files</id> <phase>prepare-package</phase> <goals> <goal>run</goal> </goals> <configuration> <target name="Copying jar files for applets"> <echo message="your jar file to be copied" /> <copy file="${source.dir}/abc.jar" tofile="${target.dir}/abc.jar" /> </target> </configuration> </execution> </executions> </plugin>的sklearn来源：

roc_auc_score

如您所见，首先得到一条roc曲线，然后调用def roc_auc_score(y_true, y_score, average="macro", sample_weight=None): # <...> docstring <...> def _binary_roc_auc_score(y_true, y_score, sample_weight=None): # <...> bla-bla <...> fpr, tpr, tresholds = roc_curve(y_true, y_score, sample_weight=sample_weight) return auc(fpr, tpr, reorder=True) return _average_binary_score( _binary_roc_auc_score, y_true, y_score, average, sample_weight=sample_weight)来获得该区域。

我猜您的问题是auc()来电。对于正常predict_proba()，输出始终相同：

predict()

如果你为此改变了上述内容，你有时会得到不同的输出：

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_curve, auc, roc_auc_score

est = LogisticRegression(class_weight='auto')
X = np.random.rand(10, 2)
y = np.random.randint(2, size=10)
est.fit(X, y)

false_positive_rate, true_positive_rate, thresholds = roc_curve(y, est.predict(X))
print auc(false_positive_rate, true_positive_rate)
# 0.857142857143
print roc_auc_score(y, est.predict(X))
# 0.857142857143

Answer 2

predict只返回一个类或另一个类。然后在分类器上计算具有predict结果的ROC，只有三个阈值（试验所有一个类，所有其他类都是微不足道的，以及之间）。您的ROC曲线如下所示：

      ..............................
      |
      |
      |
......|
|
|
|
|
|
|
|
|
|
|
|

同时，predict_proba()会返回整个概率范围，因此现在您可以为数据设置三个以上的阈值。

             .......................
             |
             |
             |
          ...|
          |
          |
     .....|
     |
     |
 ....|
.|
|
|
|
|

因此有不同的领域。

Answer 3

当你使用y_pred（类标签）时，你已经决定了门槛。当你使用y_prob（正类概率）你是开放的门槛，ROC曲线应该有所帮助你决定了门槛。

对于第一种情况，您使用的是概率：

y_probs = clf.predict_proba(xtest)[:,1]
fp_rate, tp_rate, thresholds = roc_curve(y_true, y_probs)
auc(fp_rate, tp_rate)

当你这样做时，你会在考虑之前考虑AUC' 关于你将使用的门槛的决定。

在第二种情况下，您正在使用预测（而不是概率），在这种情况下，对你和你来说，使用'predict'而不是'predict_proba' 应该得到相同的结果。

y_pred = clf.predict(xtest)
fp_rate, tp_rate, thresholds = roc_curve(y_true, y_pred)
print auc(fp_rate, tp_rate)
# 0.857142857143

print roc_auc_score(y, y_pred)
# 0.857142857143

roc_auc_score（）和auc（）的结果不同

分类

Roc曲线

AUC的

3 个答案: