如何从sklearn包中找出cv错误？

Question

我试图绘制学习曲线以确定我的模型是否患有高偏差，为了实现这一点，我需要绘制训练集错误与交叉验证集错误。在Scikit Learn中是否有办法获取此信息？

rscv_rfc = grid_search.RandomizedSearchCV(RandomForestClassifier(), param_grid, n_jobs=4, cv=10)

rscv_rfc给了我最好的估算器等，以及该模型的最佳参数。有没有办法从这个对象接收平均cv错误？

Answer 1

RandomizedSearchCV的文档字符串告诉我们它公开grid_scores_包含它评估的所有分数。但是，这些都是根据训练集分组的数据进行评估。

Here是实际评估分数的地方。虽然函数_fit_and_score实际上有一个选项return_train_scores，如果你构建了自己的网格搜索对象，你可以设置它，它在这里设置为False，因此训练分数仍然无法访问。 / p>

我想知道将此选项传播到*SearchCV对象中是否有用。