所以,我有一个看起来像
的分类器clf = VotingClassifier(estimators=[
('nn', MLPClassifier()),
('gboost', GradientBoostingClassifier()),
('lr', LogisticRegression()),
], voting='soft')
我想基本上调整每个估算器的超参数。
有没有办法调整这些"组合"分类器? 感谢
答案 0 :(得分:8)
您可以使用GridSearchCV执行此操作,但稍作修改。在参数字典中而不是直接指定attrbute,您需要在VotingClassfier对象中使用keyfier的键,然后使用__
,然后使用属性本身。
查看此示例
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.ensemble import VotingClassifier
from sklearn.model_selection import GridSearchCV
X = np.array([[-1.0, -1.0], [-1.2, -1.4], [-3.4, -2.2], [1.1, 1.2],[-1.0, -1.0], [-1.2, -1.4], [-3.4, -2.2], [1.1, 1.2]])
y = np.array([1, 1, 2, 2,1, 1, 2, 2])
eclf = VotingClassifier(estimators=[
('svm', SVC(probability=True)),
('lr', LogisticRegression()),
], voting='soft')
#Use the key for the classifier followed by __ and the attribute
params = {'lr__C': [1.0, 100.0],
'svm__C': [2,3,4],}
grid = GridSearchCV(estimator=eclf, param_grid=params, cv=2)
grid.fit(X,y)
print (grid.best_params_)
#{'lr__C': 1.0, 'svm__C': 2}
答案 1 :(得分:1)
使用GridSearchCV
clf = VotingClassifier(
estimators=[('lr',LogisticRegression()), ('gboost',GradientBoostingClassifier()),]
, voting='soft')
#put the combination of parameters here
p = [{'lr__C':[1,2],'gboost__n_estimator':[10,20]}]
grid = GridSearchCV(clf,p,cv=5,scoring='neg_log_loss')
grid.fit(X_train,Y_train)