Question

我想为我的StratifiedKFold找到最好的分割，并在最佳分割上建立我的模型。代码如下：

def best_classifier(clf,k,x,y):

    skf = StratifiedKFold(n_splits=k,shuffle=True)

    bestclf = None
    bestf1 = 0
    bestsplit = []
    cnt = 1
    totalf1 = 0

    for train_index,test_index in skf.split(x,y):
        x_train,x_test = x[train_index],x[test_index]
        y_train,y_test = y[train_index],y[test_index]
        clf.fit(x_train,y_train)
        predicted_y = clf.predict(x_test)
        f1 = f1_score(y_test,predicted_y)
        totalf1 = totalf1+f1
        print(y_test.shape)

        print(cnt," iteration f1 score",f1)
        if cnt==10:
            avg = totalf1/10
             print(avg)
        if f1>bestf1:
            bestf1 = f1
            bestclf = clf
            bestsplit = [train_index,test_index]

        cnt = cnt+1   
    return [bestclf,bestf1,bestsplit]

这个函数返回一个我的分类器数组（适合最佳分割），最佳f1分数和最佳分割的索引

我称之为：

best_of_best = best_classifier(sgd,10,x_selected,y)

现在，因为我捕获了最好的分割和我的分类器，我再次测试它的同一个分割只是为了检查我是否得到了与我在函数内得到的相同的结果。但显然它不是这样。代码：

bestclf=  best_of_best[0]
test_index = best_of_best[2][1]
x_cv = x_selected[test_index]
y_cv = y[test_index]
pred_cv = bestclf.predict(x_cv)
f1_score(y_cv,pred_cv)

调用best_classifier方法时的结果：

(679,)
1  iteration f1 score 0.643298969072
(679,)
2  iteration f1 score 0.761750405186
(678,)
3  iteration f1 score 0.732773109244
(678,)
4  iteration f1 score 0.632911392405
(678,)
5  iteration f1 score 0.74179743224
(678,)
6  iteration f1 score 0.749140893471
(677,)
7  iteration f1 score 0.750830564784
(677,)
8  iteration f1 score 0.756756756757
(677,)
9  iteration f1 score 0.682170542636
(677,)
10  iteration f1 score 0.63813229572
0.708956236151

当我在statifiedkfold的最佳分割之外预测时的结果

0.86181818181818182

正如我们所看到的那样，在10倍的情况下没有观察到这个f1分数。为什么会这样？我做错了什么？我的方法逻辑错了吗？

Answer 1

解决了它。问题是因为我没有将我的clf对象深度复制到bestclf。每当用于运行我的bestclf引用的Kth折叠变为当前clf，因为我没有深度复制。

bestclf = copy.deepcopy(clf)

Scikit-learn（Python）StratifiedKFold的不同度量结果（f1得分）

1 个答案: