Question

我正在编写一个朴素的贝叶斯分类器，因为我有一大堆需要分类的文本文档。但是，当我尝试测试我的预测时，我收到以下错误

sklearn.utils.validation.NotFittedError：TfidfVectorizer - 词汇量不合适。

在问这里之前我做了什么

我了解天真的贝叶斯分类如何运作的理论。

                         P(B|A)*P(A)
  P(A|B) =           ____________________

           P(B|A)*P(A) + P(B|C)*P(C) +...+P(B|n)*P(n)

其中A到n是您要分类的不同类，P（B | A）是B发生的概率，假设A已经发生，P（A）是A发生的概率。应该注意的是，我特别使用多项式朴素贝叶斯。

我也发现了这个问题：

SciPy and scikit-learn - ValueError: Dimension mismatch

以及这个问题

cannot cast array data when a saved classifier is called

然而，当我尝试做出预测或测试我的预测时，我仍然遇到问题。

我已经编写了以下用于创建培训和测试集的函数

def split_data_set(original_data_set, percentage):
    test_set = []
    train_set = []

    forbidden = set()

    split_sets = {}

    if is_float(percentage):
        stop_len = int(percentage * len(original_data_set))

    while len(train_set) < stop_len:
        random_selection = randrange(0, len(original_data_set))
        if random_selection not in forbidden:
            forbidden.add(random_selection)
            train_set.append(original_data_set[random_selection])

    for j in range(0, len(original_data_set)-1):
        if j not in forbidden:
            test_set.append(original_data_set[j])

    split_sets.update({'testing set': test_set})
    split_sets.update({'training set': train_set})
    split_sets.update({'forbidden': forbidden})

    return split_sets

创建并训练模型

def create_and_fit_baes_model(data_set):

    train = []
    expect = []

    for data in data_set['training set']:
        train.append(data[1])
        expect.append(data[0])

    vectorizer = TfidfVectorizer(min_df=1)

    # I think this is one of the places where I'm doing something 
    # incorrectly
    vectorized_training_data = vectorizer.fit_transform(train)


    model = MultinomialNB()


    model.fit(vectorized_training_data, expect)

    return model

并测试我的模型

def test_nb_model(data_set, model):

    test = []
    expect = []

    for data in data_set['testing set']:
        test.append(data[1])
        expect.append(data[0])

    #This is the other section where I think that 
    # I'm doing something incorrectly
    vectorizer = TfidfVectorizer(min_df=1)
    vectorized_testing_data = vectorizer.transform(test)
    fitted_vectorized_testing_data = vectorizer.fit(vectorized_testing_data)

    predicted = model.predict(fitted_vectorized_testing_data)

    print(metrics.confusion_matrix(expect,predicted))
    print(metrics.classification_report(expect, predicted))

我相信我在转型/装修阶段遇到了问题。

我知道tfidf矢量化的工作原理如下

这是一个由具有不同术语计数的文档组成的常规矩阵。

     _term1____term2____term3____termn____________
doc1|   5  |    0   |     13   |   1
doc2|   0  |    8   |     2    |   0
doc3|   1  |    5   |     5    |   10
.   |   .  |    .   |     .    |   .
.   |   .  |    .   |     .    |   .
.   |   .  |    .   |     .    |   .
docn|   10 |    0   |     0    |   0

从这里开始，您应用加权方案来确定特定单词对您的语料库的重要程度。

我知道所有这些在理论上是如何运作的，我可以在纸上进行数学计算，但当我尝试阅读the documentation sklearn时，我仍然有点困惑我是怎么做的。我应该编码一切。

过去两天我一直在努力解决这个问题。如果有人能够提供一些有关我做错事情的见解以及如何完全训练和运行我的模型，我会很感激。

Answer 1

我认为最干净的选择是使用Pipeline将矢量图打包器与分类器打包在一起;然后，如果你调用model.fit，这将适合你的矢量化器的词汇和术语频率，并使它们可用于以后的功能。通过这种方式，您仍然可以从训练功能中返回单个“模型”，如果需要保存模型，也可以选择此模型。

from sklearn.pipeline import Pipeline

def create_and_fit_model(data):
    # ... get your train and expect data
    vectorizer = TfidfVectorizer(min_df=1)
    nb = MultinomialNB()
    model = Pipeline([('vectorizer', vectorizer), ('nb', nb)])
    model.fit(train, expect)
    return model

顺便说一下，您不需要编写自己的火车/测试拆分代码，您可以使用sklearn.cross_validation.train_test_split。您还应该考虑使用pandas存储数据而不是普通列表;它可以更容易地提取列。

我如何改造和适应＆＃34;我的文本分类器的值是否正确？

1 个答案: