我在调整模型的超参数时使用了训练数据集(即 X_train、y_train)。我需要使用测试数据集(即 X_test、y_test)作为最终检查,以确保我的模型没有偏差。 我写了
folds = 4
X_train, X_test, y_train, y_test = train_test_split(X,y, test_size=(1/folds), random_state=38, stratify=y)
clf_logreg = Pipeline(steps=[('preprocessor', preprocessing),
('model', LogisticRegression(solver='lbfgs', max_iter=100))])
cv = KFold(n_splits=(folds - 1))
scores_logreg = cross_val_score(clf_logreg, X_train, y_train, cv = cv)
并且,要获得 f1 分数,
cross_val_score(clf_logreg, X_train, y_train, scoring=make_scorer(f1_score, average='weighted'),
cv=cv)
返回
scores_logreg:[0.94422311, 0.99335548, 0.97209302]
对于 f1:[0.97201365, 0.9926906 , 0.98925453]
为了检查测试,写对不对
cross_val_score(clf_logreg, X_test, y_test, scoring=make_scorer(f1_score, average='weighted'), cv=cv) # not sure if it is ok to let cv
也许
predicted_logreg= clf_logreg.predict(X_test)
f1 = f1_score(y_test, predicted_logreg)
返回的值不同。
答案 0 :(得分:1)
cross_val_score
用于通过交叉验证对模型进行评分,如果您这样做:
cross_val_score(clf_logreg, X_test, y_test,
scoring=make_scorer(f1_score, average='weighted'), cv=cv)
您正在对您的测试集重新进行交叉验证,这没有多大意义,除非您现在是在比您的火车更小的数据集上训练您的模型。
我认为 scikit learn 上的 help page on cross validation 说明了这一点,您无需在测试集上重新运行交叉验证:
你只需要:
predicted_logreg= clf_logreg.predict(X_test)
f1 = f1_score(y_test, predicted_logreg)