Question

我有一个包含训练数据集的文件：

sentence           F1 F2 F3 F4 F5 class
this is a dog      0  1  0  0  0  1   
i like cats        1  0  0  0  0  1 
go to the fridge   0  0  1  0  0  0
i drive a car      0  0  0  1  0  0
i dislike rabbits  0  0  0  0  1  1

我有一套句子。我想预测（在这个例子中，在现实生活中的句子更长），每个句子是否包含一个动物（该类）。我为每个句子分配了特征F1 =句子中提到的猫，F2 =句子中提到的狗，F3 =句子中提到的冰箱，F4 =句子中提到的汽车，F5 =是句子中提到的兔子，班级是动物是否在句子中。）

那么我有另一个带有句子列表的文件（测试数据集）：

dolphins live in the sea
bears live in the woods
there is no milk left
where are the zebras

我想使用训练数据集（上面的特征矩阵）训练朴素贝叶斯分类器，然后使用在句子的测试文件上制作的模型。我可以这样做吗？

我试过了：

import numpy as np
import sklearn.naive_bayes import BernoulliNB

sentence = []
feature1 = []
feature2 = []
feature3 = []
feature4 = []
feature5 = []
class_name = []

test_dataset = [line.strip() for line in open(sys.argv[2])]

for line in open(sys.argv[1]):
    line = line.strip().split('\t')
    sentence.append(line[0])
    feature1.append(line[1])
    feature2.append(line[2])
    feature3.append(line[3])
    feature4.append(line[4])
    feature5.append(line[5])
    class_name.append(line[6])

list_of_features = [feature1,feature2,feature3,feature4,feature5]

#I'm not sure if this is right: question 1 below
clf = BernoulliNB()
clf.fit(list_of_features,class_name)

# I'm not sure what goes in the next line: question 2 below
print clf.predict(??)

我有一些问题。

当我将代码运行到句子clf.fit时，我收到错误：

文件“naive_bayes.py”，第28行，in clf.fit（list_of_features，CLASS_NAME）文件“/usr/local/lib/python2.7/dist-packages/sklearn/naive_bayes.py”，第527行，in fit X，y = check_X_y（X，y，'csr'）在check_X_y中输入文件“/usr/local/lib/python2.7/dist-packages/sklearn/utils/validation.py”，第520行 check_consistent_length（X，y）在check_consistent_length文件“/usr/local/lib/python2.7/dist-packages/sklearn/utils/validation.py”，第176行 “％s”％str（独特）） ValueError：找到样本数不一致的数组：[5 10]

但是，当我计算我的列表长度时，它们似乎长度相同？有谁能说清楚我在这里做错了什么？

我的第二个问题是'print clf.predict（）'行读取'print clf.predict（test_dataset）'（即没有附加任何功能或类别的句子列表）是正确的我想分配到0级或1级;我不能在分钟测试这个，因为我似乎无法从问题1中解决我的错误。
作为旁注，一旦我最终能够将其发挥作用，以某种方式计算出预测器的准确性将会很棒。然而，我正在努力让基础工作先行。

编辑1：修改过的脚本

import numpy as np
from sklearn.naive_bayes import BernoulliNB
import sys

sentence = []
feature1 = []
feature2 = []
feature3 = []
feature4 = []
feature5 = []
class_name = []

for line in open(sys.argv[1]):
    line = line.strip().split('\t')
    sentence.append(line[0])
    feature1.append(int(line[1]))
    feature2.append(int(line[2]))
    feature3.append(int(line[3]))
    feature4.append(int(line[4]))
    feature5.append(int(line[5]))
    class_name.append(int(line[6]))

print feature1
print feature2
print feature3
print feature4
print feature5
print class_name


list_of_features = [feature1,feature2,feature3,feature4,feature5]
transpos_list_of_features = np.array(list_of_features).T
clf = BernoulliNB()
print clf.fit(transpos_list_of_features,class_name)
#print clf.predict(??)

输出：

[0, 1, 0, 0, 0, 0, 0, 0, 0, 0]
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
[1, 0, 1, 1, 1, 0, 0, 0, 0, 0]
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
[0, 0, 0, 0, 0, 0, 0, 1, 1, 1]
[0, 0, 0, 0, 0, 0, 0, 1, 1, 1]
BernoulliNB(alpha=1.0, binarize=0.0, class_prior=None, fit_prior=True)

Answer 1

1-这里有几个问题。

首先，确保正确解析文件。如果你的火车文件与上面的行完全一样，那么你可能想跳过第一行。它包含标题，不应该在您的X或Y矩阵中。确保feature和class_name变量包含您想要的内容。您可以通过打印来检查它们。
sentence.append(line[0])我想，你得到字符串＆＃39; 0＆＃39;或者＆＃39; 1＆＃39;而不是整数值。我不认为这个scikit模块可以使用字符串值。你应该把它们转换成整数。它可能类似于sentence.append(int(line[0]))
list_of_features变量是no_of_features x no_of_features矩阵。它的形状应该是n_samples x n_features。您可以按list_of_features = np.array(list_of_features).T

2 - 分类器不知道如何将句子映射到要素，因此您必须明确地给出要素。您可以通过遍历句子并检查目标词是否存在来实现此目的。

修改

import numpy as np from sklearn.naive_bayes import BernoulliNB feature_word_list = ["cat", "dog", "fridge", "car", "rabbit"] feature1 = [0, 1, 0, 0, 0] feature2 = [1, 0, 0, 0, 0] feature3 = [0, 0, 1, 0, 0] feature4 = [0, 0, 0, 1, 0] feature5 = [1, 1, 0, 0, 1] class_name_list = [1, 1, 0, 0, 1] train_features = np.array([feature1,feature2,feature3,feature4,feature5]).T clf = BernoulliNB() clf.fit(train_features, class_name_list)

上面的代码是相同的，除了我直接放置特征值而不从文件中读取。

test_data = ["this is about dog and cats","not animal related sentence"] test_feature_list = [] for test_instance in test_data: test_feature = [1 if feature_word in test_instance else 0 for feature_word in feature_word_list] test_feature_list.append(test_feature) test_feature_matrix = np.array(test_feature_list) print(test_feature_matrix)

现在你的test_feature_matrix看起来像这样：

[[1 1 0 0 0] [0 0 0 0 0]]

请注意，我有2个测试数据，因此矩阵有2个相应的行，每列代表一个特征值（即句子中是否存在特定的单词）。这就是我在第2点试图说的，分类器不知道＆＃34; cat＆＃34;，＆＃34;冰箱＆＃34;或其他什么，但它需要的是字是否存在，1或0。

现在您可以预测这些测试数据（句子）的标签：

predicted_label_list = clf.predict(test_feature_matrix) print(predicted_label_list)

给出
的结果
[1 0]

注意：它可能不适用于您的测试数据，因为它包含不在您的功能空间和训练数据中的单词。我的意思是你的测试数据包含＆＃34; zebra＆＃34;但是没有＆＃34;斑马＆＃34;在训练集中，所以它可以归类为0。

朴素贝叶斯分类器使用Sklearn.naive_bayes.Bernoulli;如何使用模型进行预测？

1 个答案: