Question

我有一个包含二进制分类问题的不平衡数据集。我已经构建了随机森林分类器并使用了10倍折叠交叉验证。

kfold = model_selection.KFold(n_splits=10, random_state=42)
model=RandomForestClassifier(n_estimators=50)

我得到了10倍的结果

results = model_selection.cross_val_score(model,features,labels, cv=kfold)
print results
[ 0.60666667  0.60333333  0.52333333  0.73        0.75333333  0.72        0.7
  0.73        0.83666667  0.88666667]

我通过取结果的平均值和标准差来计算准确度

print("Accuracy: %.3f%% (%.3f%%)") % (results.mean()*100.0, results.std()*100.0)
Accuracy: 70.900% (10.345%)

我计算了我的预测如下

predictions = cross_val_predict(model, features,labels ,cv=10)

由于这是一个不平衡的数据集，我想计算每个折叠的精确度，召回率和f1分数并对结果取平均值。如何计算python中的值？

Answer 1

当您使用cross_val_score方法时，您可以指定您可以在每个折叠上计算哪些评分：

from sklearn.metrics import make_scorer, accuracy_score, precision_score, recall_score, f1_score

scoring = {'accuracy' : make_scorer(accuracy_score), 
           'precision' : make_scorer(precision_score),
           'recall' : make_scorer(recall_score), 
           'f1_score' : make_scorer(f1_score)}

kfold = model_selection.KFold(n_splits=10, random_state=42)
model=RandomForestClassifier(n_estimators=50) 

results = model_selection.cross_val_score(estimator=model,
                                          X=features,
                                          y=labels,
                                          cv=kfold,
                                          scoring=scoring)

经过交叉验证后，您将获得带有密钥的results字典：＆＃39;准确度＆＃39;，＆＃39;精确＆＃39;＆＃39;召回＆＃39;，＆＃39; f1_score＆＃39;，它针对特定指标在每个折叠上存储指标值。对于每个指标，您可以使用np.mean(results[value])和np.std(results[value])计算平均值和标准值，其中value是您指定的指标名称之一。

如何在python中计算10倍折叠交叉验证的不平衡数据集的精度，召回率和f1分数

1 个答案: