tfidfvectorizer预测保存的分类器

Question

我使用TfIdfVectorizer和MultinomialNB训练了我的模型，并将其保存到pickle文件中。

现在我正在尝试使用其他文件中的分类器来预测看不见的数据，我不能这样做，因为它告诉我分类器的功能数量与当前功能的数量不同语料库。

这是我想要预测的代码。函数do_vectorize与训练中使用的函数完全相同。

def do_vectorize(data, stop_words=[], tokenizer_fn=tokenize):
    vectorizer = TfidfVectorizer(stop_words=stop_words, tokenizer=tokenizer_fn)
    X = vectorizer.fit_transform(data)
    return X, vectorizer

# Vectorizing the unseen documents 
matrix, vectorizer = do_vectorize(corpus, stop_words=stop_words)

# Predicting on the trained model
clf = pickle.load(open('../data/classifier_0.5_function.pkl', 'rb'))
predictions = clf.predict(matrix)

但是我收到功能数量不同的错误

ValueError: Expected input with 65264 features, got 472546 instead

这意味着我还必须从训练中保存我的词汇才能进行测试？如果培训中没有条款，会发生什么？

我尝试使用scikit-learn的管道和相同的矢量化器和分类器，以及两者的相同参数。然而，它从1小时变为超过6小时太慢，所以我更喜欢手动操作。

Answer 1

  

这意味着我还必须从训练中保存我的词汇才能进行测试？

是的，你必须保存整个tfidf矢量化合物，这尤其意味着节省词汇量。

  

如果培训中没有条款，会发生什么？

它们将被忽略，这是完全合理的，因为你有没有训练数据，因此没有什么可考虑的（有更复杂的方法仍然可以使用它，但它们不要使用像tfidf这样简单的方法。

  

我尝试使用scikit-learn的管道和相同的矢量化器和分类器，以及两者的相同参数。然而，它从1小时变为超过6小时太慢，所以我更喜欢手动操作。

使用管道时应该几乎没有开销，但是只要您记得存储矢量化器，手动操作也很好。