Question

这是关于功能集的一个非常基本的问题。

让我们说我有一群人有各种各样的功能，我想提出建议。他们还写了一段自由格式文本，这对我需要向他们推荐非常重要。

我可以理解如何对其示例文本进行矢量化，但我不知道如何添加国籍，年龄，性别等功能。

所以我有这个：

#dbsession = sqlalchemy session

people = dbsession.query(People).filter(People.category!="inactive")
all_text = [(a.all_text, a.category) for a in people ]
vectorizer = TfidfVectorizer(sublinear_tf=True, max_df=0.5, stop_words='english')
X_train = vectorizer.fit_transform([x[0] for x in all_text])
y_train = ([x[1] for x in all_text])
classifier = MultinomialNB()
classifier.fit(X_train,y_train)

print("Training score: {0:.1f}%".format(classifier.score(X_train, y_train) * 100))
a  = People.populate_from_db(dbsession,2309601) # this gives me the person I want to categorise
print a

sample_text = a.all_text
t_form = vectorizer.transform([sample_text])
probs = classifier.predict_proba(t_form)
for i,p in enumerate(probs[0]):
    print "# ", classifier.classes_[i] , "%.2f %%" % (p*100)

（是的，我知道我不应该使用训练集的项目进行测试，但我只是在将实际数据输入之前先运行代码。）

现在，如果一个人物对象有一个属性，例如＆＃34; nationality＆＃34;，那么将它添加到分类器的最佳方法是什么？

Answer 1

1）向向量添加其他字段的问题。

A）只需为要添加的每件事创建一个与X_train + 1具有相同维数的新X_train_extended。复制值并在额外空间中插入所需内容

B）尝试使用scikit中的FeatureUnion为你做这件事。

2）你的添加有意义吗？在这种情况下 - 没有。存储“年龄”的数值对于MulinomialNB模型没有意义。无论如何它可能会起作用，但你应该知道你正在做的事情现在违反了你试图使用的模型的假设。

没有人可以告诉您应该使用哪种型号，因为我们没有您的数据，但您应该了解您的模型是什么以及它做出了什么样的假设。然后，您可以决定将这些附加功能的最佳形式放入模型中。

使用MultinomialNB组合功能集

1 个答案: