Question

我正在使用sklearn v 0.13.1 svm来尝试解决二进制分类问题。我使用kfold交叉验证并计算roc曲线下的面积（roc_auc）来测试我的模型的质量。但是，对于某些折叠，roc_auc小于0.5，即使对于训练数据也是如此。那不应该是不可能的吗？算法是否总是不可能至少达到训练数据的0.5？

这是我的代码：

classifier = svm.SVC(kernel='poly', degree=3, probability=True, max_iter=100000)
kf = cross_validation.KFold(len(myData), n_folds=3, indices=False)
for train, test in kf:
    Fit = classifier.fit(myData[train], classVector[train])

    probas_ = Fit.predict_proba(myData[test])
    fpr, tpr, thresholds = roc_curve(classVector[test], probas_[:,1])
    roc_auc = auc(fpr, tpr)

    probas_ = Fit.predict_proba(myData[train])
    fpr2, tpr2, thresholds2 = roc_curve(classVector[train], probas_[:,1])
    roc_auc2 = auc(fpr2, tpr2)

    print "Training auc: ", roc_auc2, " Testing auc: ", roc_auc

输出如下：

    Training auc: 0.423920939062  Testing auc: 0.388436883629
    Training auc: 0.525472613736  Testing auc: 0.565581854043
    Training auc: 0.470917930528  Testing auc: 0.259344660194

曲线下面积小于0.5的结果是否有意义？原则上，如果列车和测试值都<0.5，我可以反转每个点的预测，但我担心某事会出错。我认为即使我给它完全随机数据，算法应该在训练数据上达到0.5？

Answer 1

确实你可以反转你的预测，这就是你的AUROCs＆lt; 0.5。这通常不是问题，它可能只意味着classifier.fit或roc_curve误解了您传递的classVector。最好修改它 - 阅读他们的文档以了解他们期望的数据。特别是，您没有指定哪个标签是正面的。请参阅roc_curve的{{3}}参数，并确保y_true已正确指定。

然而，令人担忧的是，你的一些AUROC是＆gt;在训练集上0.5，并且大多数都接近它。它可能意味着你的分类器的表现并不比随机好。

对于训练数据，ROC下的sklearn svm区域小于0.5

1 个答案: