我正在尝试在GridSearchCV中使用多个指标。我的项目需要多个指标,包括“准确性”和“ f1得分”。但是,在遵循sklearn模型和在线帖子之后,我似乎无法开始工作。这是我的代码:
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import f1_score
clf = KNeighborsClassifier()
param_grid = {'n_neighbors': range(1,30), 'algorithm': ['auto','ball_tree','kd_tree', 'brute'], 'weights': ['uniform', 'distance'],'p': range(1,5)}
#Metrics for Evualation:
met_grid= ['accuracy', 'f1'] #The metric codes from sklearn
custom_knn = GridSearchCV(clf, param_grid, scoring=met_grid, refit='accuracy', return_train_score=True)
custom_knn.fit(X_train, y_train)
y_pred = custom_knn.predict(X_test)
我的错误发生在custom_knn.fit(X_train,y_train)
上。此外,如果您注释掉scoring=met_grid, refit='accuracy', return_train_score=True
,它就可以工作。
这是我的错误:
ValueError: Target is multiclass but average='binary'. Please choose another average setting.
此外,如果您可以解释多种指标评估或将我推荐给可以的人,那将不胜感激!
谢谢
答案 0 :(得分:1)
f1
是二进制分类指标。对于多类分类,必须基于不同的聚合使用averaged f1
。您可以在Sklearn here中找到详尽的评分列表。
尝试一下!
scoring = ['accuracy','f1_macro']
custom_knn = GridSearchCV(clf, param_grid, scoring=scoring,
refit='accuracy', return_train_score=True,cv =3)