Question

我正在创建一个GridSearchCV分类器

pipeline = Pipeline([
    ('vect', TfidfVectorizer(stop_words='english',sublinear_tf=True)),
    ('clf', LogisticRegression())
    ])

parameters= {}

gridSearchClassifier = GridSearchCV(pipeline, parameters, n_jobs=3, verbose=1, scoring='accuracy')
    # Fit/train the gridSearchClassifier on Training Set
    gridSearchClassifier.fit(Xtrain, ytrain)

这很好用，我可以预测。但是，现在我想重新训练分类器。为此，我想对一些反馈数据进行fit_transform()。

    gridSearchClassifier.fit_transform(Xnew, yNew)

但是我收到了这个错误

AttributeError: 'GridSearchCV' object has no attribute 'fit_transform'

基本上我正在尝试fit_transform()分类器的内部TfidfVectorizer。我知道我可以使用Pipeline属性访问named_steps的内部组件。我可以为gridSearchClassifier做一些类似的事情吗？

Answer 1

只需逐步打电话给他们。

gridSearchClassifier.fit(Xnew, yNew)
transformed = gridSearchClassifier.transform(Xnew)

fit_transform只不过是这两行代码，根本没有作为GridSearchCV的单一方法实现。

更新

从评论来看，你似乎有点迷失了GridSearchCV实际上做的事情。这是一种适用于具有多个超参数的模型的元方法。因此，一旦您致电fit，您就会在对象的best_estimator_字段中获得估算工具。在你的情况下 - 它是一个管道，你可以像往常一样提取它的任何部分，因此

gridSearchClassifier.fit(Xtrain, ytrain)
clf = gridSearchClassifier.best_estimator_
# do something with clf, its elements etc. 
# for example print clf.named_steps['vect']

你应该不使用gridsearchcv作为分类器，这只是一种拟合超参数的方法，一旦找到它们，你应该使用best_estimator_。但是，请记住如果您重新安装TFIDF矢量图，那么您的分类器将无用;你不能改变数据表示并期望旧模型运行良好，你必须在数据更改后重新整理分类器（除非这是经过精心设计的更改，并确保旧维度完全相同 - sklearn不支持此类操作，你必须从头开始实现这一点。

Answer 2

@lejot是正确的，您应该致电fit()上的gridSearchClassifier。

如果refit=True设置了GridSearchCV，这是默认设置，您可以访问best_estimator_上的gridSearchClassifier。

您可以访问已安装的步骤：

tfidf = gridSearchClassifier.best_estimator_.named_steps['vect']
clf = gridSearchClassifier.best_estimator_.named_steps['clf']

然后，您可以使用以下内容转换new_X中的新文字

X_vec = tfidf.transform(new_X)

您可以使用此X_vec进行预测：

x_pred = clf.predict(X_vec)

您还可以使用。

对通过管道整个管道的文本进行预测

X_pred = gridSearchClassifier.predict(new_X)

Python sklearn：fit_transform（）不适用于GridSearchCV

2 个答案:

更新