Question

我的任务是使用单词n-gram作为功能，使用svm进行文本分类。在使用TF-IDF之前，我的代码是：

word_dic = ngram.wordNgrams(text, n)
freq_term_vector = [word_dic[gram] if gram in word_dic else 0 for gram in global_vector]
X.append(freq_term_vector)

效果很好。但是，当我尝试使用TF-IDF时，代码如下：

freq_term_vector = [word_dic[gram] if gram in word_dic else 0 for gram in global_vector]
tfidf = TfidfTransformer(norm="l2")
tfidf.fit(freq_term_vector)
X.append(tfidf.transform(freq_term_vector).toarray())

培训部分可以完成，但当程序运行到预测部分时，它说

 clf.predict(X_test)
  File "/usr/lib/python2.7/dist-packages/sklearn/linear_model/base.py", line 223, in predict
    scores = self.decision_function(X)
  File "/usr/lib/python2.7/dist-packages/sklearn/linear_model/base.py", line 207, in decision_function
    dense_output=True) + self.intercept_
  File "/usr/lib/python2.7/dist-packages/sklearn/utils/extmath.py", line 83, in safe_sparse_dot
    return np.dot(a, b)
ValueError: shapes (1100,1,38) and (1,11) not aligned: 38 (dim 2) != 1 (dim 0)

训练方法和预测方法是相同的。如何解决这个对齐问题？任何人都可以帮我查看上面的代码或给我一些想法吗？

Answer 1

我认为问题在于追加，请尝试以下方法：

...
X = tfidf.transform(freq_term_vector)
...
X_test = tfidf.transform(freq_term_vector_test)
clf.predict(X_test)

如何用TF-IDF构造单词n-gram的训练向量

1 个答案: