Question

我有一个评论数据集，其标签为正/负。我正在将Naive Bayes应用于该评论数据集。首先，我正在转换成一堆文字。 sorted_data [＆＃39;文字＆＃39;] 是评论， final_counts是稀疏矩阵

count_vect = CountVectorizer() 
final_counts = count_vect.fit_transform(sorted_data['Text'].values)

我将数据拆分为训练和测试数据集。

X_1, X_test, y_1, y_test = cross_validation.train_test_split(final_counts, labels, test_size=0.3, random_state=0)

我正在应用朴素贝叶斯算法如下

optimal_alpha = 1
NB_optimal = BernoulliNB(alpha=optimal_aplha)

# fitting the model
NB_optimal.fit(X_tr, y_tr)

# predict the response
pred = NB_optimal.predict(X_test)

# evaluate accuracy
acc = accuracy_score(y_test, pred) * 100
print('\nThe accuracy of the NB classifier for k = %d is %f%%' % (optimal_aplha, acc))

这里X_test是测试数据集，其中pred变量给出了X_test中的向量是正还是负类。

X_test形状为（54626行，82343维）

pred的长度是54626

我的问题是我希望在每个向量中获得概率最高的单词，以便我可以通过单词知道它为什么预测为正或负类。因此，如何获得每个向量中概率最高的词？

Answer 1

您可以使用coefs_或feature_log_prob_属性从拟合模型中获取每个单词的重要内容。例如

neg_class_prob_sorted = NB_optimal.feature_log_prob_[0, :].argsort()
pos_class_prob_sorted = NB_optimal.feature_log_prob_[1, :].argsort()

print(np.take(count_vect.get_feature_names(), neg_class_prob_sorted[:10]))
print(np.take(count_vect.get_feature_names(), pos_class_prob_sorted[:10]))

为每个班级打印十大最具预测性的单词。

Answer 2

我也遇到了同样的麻烦，也许这是为数据科学交流论坛准备的，但是由于我取得了很好的成绩，所以我想在这里发帖。

首先： +代表正面课程， -代表负面类。 P（）代表概率。

我们将建立赔率比，可以证明它等于 P（单词i，+）/ P（单词i，-）（让我知道您是否需要它的演示）。如果此比率大于1，则表示单词i更有可能出现在积极的方面要比消极的方面好。

这些是朴素贝叶斯模型中的先验条件：

prob_pos = df_train['y'].value_counts()[0]/len(df_train)
prob_neg = df_train['y'].value_counts()[1]/len(df_train)

创建用于存储单词的数据框

df_nbf = pd.DataFrame()
df_nbf.index = count_vect.get_feature_names()
# Convert log probabilities to probabilities. 
df_nbf['pos'] = np.e**(nb.feature_log_prob_[0, :])
df_nbf['neg'] = np.e**(nb.feature_log_prob_[1, :])


df_nbf['odds_positive'] = (nb.feature_log_prob_[0, :])/(nb.feature_log_prob_[1, :])*(prob_nonneg/prob_neg)

df_nbf['odds_negative'] = (nb.feature_log_prob_[1, :])/(nb.feature_log_prob_[0, :])*(prob_neg/prob_nonneg)

最重要的词。这将使您的比率> 1。例如一个 “ damn”一词的odds_ratio_negative = 2表示该词当评论或您的班级相对否时，有可能发生两次与您的正面课堂。

# Here are the top5 most important words of your positive class:
odds_pos_top5 = df_nbf.sort_values('odds_positive',ascending=False)['odds_positive'][:5]
# Here are the top5 most important words of your negative class:
odds_neg_top5 = df_nbf.sort_values('odds_negative',ascending=False)['odds_negative'][:5]

Answer 3

def get_salient_words(nb_clf, vect, class_ind):
    """Return salient words for given class
    Parameters
    ----------
    nb_clf : a Naive Bayes classifier (e.g. MultinomialNB, BernoulliNB)
    vect : CountVectorizer
    class_ind : int
    Returns
    -------
    list
        a sorted list of (word, log prob) sorted by log probability in descending order.
    """

    words = vect.get_feature_names()
    zipped = list(zip(words, nb_clf.feature_log_prob_[class_ind]))
    sorted_zip = sorted(zipped, key=lambda t: t[1], reverse=True)

    return sorted_zip

neg_salient_top_20 = get_salient_words(NB_optimal, count_vect, 0)[:20]
pos_salient_top_20 = get_salient_words(NB_optimal, count_vect, 1)[:20]

Answer 4

试试这个：

pred_proba = NB_optimal.predict_proba(X_test)
words = np.take(count_vect.get_feature_names(), pred_proba.argmax(axis=1))

如何在天真的贝叶斯中获得功能重要性？

4 个答案: