Question

您好我正在尝试制作几个小文本主题的模型，语料库是由社交网页的评论组成的，我有以下结构，首先是一个包含以下文档的列表：

listComments = ["I like the post", "I hate to use this smartphoneee","iPhone 7 now has the best performance and battery life :)",...]


tfidf_vectorizer = TfidfVectorizer(min_df=10,ngram_range=(1,3),analyzer='word')
tfidf = tfidf_vectorizer.fit_transform(listComments)

我使用tfidf生成具有该参数的模型，然后我按如下方式使用LDA：

#Using Latent Dirichlet Allocation
n_topics = 30
n_top_words = 20
lda = LatentDirichletAllocation(n_topics=n_topics,
                                learning_method='online',
                                learning_offset=50.,
                                random_state=0)

lda.fit(tfidf)
def print_top_words(model, feature_names, n_top_words):
    for topic_idx, topic in enumerate(model.components_):
        print("Topic #%d:" % topic_idx)
        print(" ".join([feature_names[i]
                        for i in topic.argsort()[:-n_top_words - 1:-1]]))
    print()
print("\nTopics in LDA model:")
tf_feature_names = tfidf_vectorizer.get_feature_names()
print_top_words(lda, tf_feature_names, n_top_words)
y_pred = lda.fit_transform(tfidf)

然后我保存了两个模型tfidf和LDA来开发以下实验给出一个新的评论我用相同的模型对其进行矢量化

comment = ['the car is blue']

x = tdf.transform(comment)

y = lda.transform(x)

print("this is the prediction",y)

我得到了：

this is the prediction [[ 0.03333333  0.03333333  0.03333333  0.03333333  0.03333333  0.03333333
   0.03333333  0.03333333  0.03333333  0.03333333  0.03333333  0.03333333
   0.03333333  0.03333333  0.03333333  0.03333333  0.59419197  0.03333333
   0.03333333  0.03333333  0.03333333  0.03333333  0.03333333  0.03333333
   0.03333333  0.03333333  0.03333333  0.86124492  0.03333333  0.03333333]]

我没有看不到这个向量我正在研究一点我不确定，但我相信这是由n_topics的一部分组成的概率，我用的意思是30，对于这种情况我的新评论会有更多属于具有较高成分的主题的概率，但这不是很直接，我的主要问题是我是否需要构造一个方法来给出该变换的较高分量的索引来分类向量或者如果LDA有一些方法自动提供主题数量，提前感谢支持。

Answer 1

首先，您选择了研究等于n_topics（= 30）的多个主题。您得到的预测向量是（30）形状的数组。每个分量代表评论属于第i个主题的概率。

请记住，LDA不是唯一的，一个文档可以属于多个类。例如在这里，我可以说您的评论属于2个不同的类别，概率为0.86和0.59

如何在以下LDA模型中预测评论主题？

1 个答案: