在训练集上使用 k 折交叉验证后,是否还需要额外的验证集?

时间:2021-07-02 04:14:29

标签: cross-validation training-data k-fold

from sklearn.model_selection import cross_val_score
scores = cross_val_score(regressor, X_digits, Y_digits,cv=10,scoring='neg_mean_squared_error') 
all_mse_cv = -np.mean(scores)

对训练集进行k折交叉验证后,通过后向消除法过滤参数,选择平均误差最小的模型作为最终的测试模型。

测试结果表明效果相当不错,不存在过拟合问题。

但是这个最终的测试模型并不是最好的最终模型。

因为其他模型我尝试了向后消元法在测试集上可以得到更好的结果,但差别不大。

但因此,仅使用交叉验证后训练集选择的最小平均误差模型并不是最佳答案。

那么我是否需要额外的验证集进行比较并选择最小的平均误差作为最终模型?

0 个答案:

没有答案