Question

我创建了一个朴素贝叶斯模型来预测结果是“负面”还是“正面”。我遇到的问题是在一组新数据上运行模型，其中一些单词不在模型中。我收到的用于预测新数据集的错误是：

ValueError：具有6个功能的预期输入，而不是4个

我读到我必须在我的模型中放置一个拉普拉斯平滑器，而伯努利（）已经有一个默认的alpha值1.我还能做些什么来修复我的错误？谢谢

from nltk.corpus import stopwords
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.naive_bayes import BernoulliNB
from sklearn import cross_validation
from sklearn.metrics import classification_report
import numpy as np
from sklearn.metrics import accuracy_score
import textblob as TextBlob



#scikit
comments = list(['happy','sad','this is negative','this is positive', 'i like this', 'why do i hate this'])
classes = list(['positive','negative','negative','positive','positive','negative'])


# preprocess creates the term frequency matrix for the review data set
stop = stopwords.words('english')
count_vectorizer = CountVectorizer(analyzer =u'word',stop_words = stop, ngram_range=(1, 3))
comments = count_vectorizer.fit_transform(comments)
tfidf_comments = TfidfTransformer(use_idf=True).fit_transform(comments)


# preparing data for split validation. 60% training, 40% test
data_train,data_test,target_train,target_test = cross_validation.train_test_split(tfidf_comments,classes,test_size=0.2,random_state=43)
classifier = BernoulliNB().fit(data_train,target_train)

#new data
comments_new = list(['positive','zebra','george','nothing'])
comments_new = count_vectorizer.fit_transform(comments_new)
tfidf_comments_new = TfidfTransformer(use_idf=True).fit_transform(comments_new)

classifier.predict(tfidf_comments_new)

Answer 1

您不应使用fit_transform在新数据上使用新的估算工具，而是使用之前的构建count_vectorizer，只需使用transform。这将忽略字典中没有的所有单词。

我不同意Maxim：虽然这对CountVectorizer没有任何影响，但在连接的数据集上使用TfidfTransformer会将测试集中的信息泄露给您需要避免的训练集。

Answer 2

您正在根据“评论”字词创建计数矩阵。在创建计数矩阵时，您必须使用您在问题中遇到的所有可能的单词。在创建成员资格矩阵时，想象一下更简单的情况。每列列出特定单词，每行 - 例如来自数据集的特定示例（例如，电子邮件文本）。如果特定单词不在示例中，则Matrix保持为0，如果在示例中，则为1。显然，如果您为电子邮件构建了这样的矩阵，例如，它包含100个不同的单词，那么矩阵将有100列。但是如果之后你会尝试使用经过训练的分类器来对抗新数据，在这些数据中你会有一些新单词，而这些新单词不在训练集中 - 它只会失败。由于原始矩阵中没有列来保存这些新单词的值。因此，在文本矢量化过程中，您必须提供您在训练和测试数据集中所面临的所有术语。

因此，不要针对'comments'调用CountVectorizer和tfidfTransformer，而是必须将comments和comments_new连接到一个列表中，并针对连接列表调用CountVectorizer和tfidfTransformer。

用一些不在训练集中的词来预测分类（朴素贝叶斯）

2 个答案: