Question

我在Spark（LDA）中运行Latent Dirichlet Allocation。我正试图理解它给出的输出。

这是我使用Tokenizer，StopwordsRemover，CountVectorizer

执行文本特征转换后的示例数据集

[Row(Id=u'39', tf_features=SparseVector(1184, {89: 1.0, 98: 2.0, 108: 1.0, 168: 3.0, 210: 1.0, 231: 1.0, 255: 1.0, 290: 1.0, 339: 1.0, 430: 1.0, 552: 1.0, 817: 1.0, 832: 1.0, 836: 1.0, 937: 1.0, 999: 1.0, 1157: 1.0})),
 Row(Id=u'7666', tf_features=SparseVector(1184, {15: 2.0, 186: 2.0, 387: 2.0, 429: 2.0, 498: 2.0}))]

根据Spark的稀疏矢量表示法，tf_features代表：（Vocab_zise，{term_id：term_freq ...}

现在我运行了以下初始代码：

from pyspark.ml.clustering import LDA
lda = LDA(featuresCol="tf_features",k=10, seed=1, optimizer="online")
ldaModel=lda.fit(tf_df)

lda_df=ldaModel.transform(tf_df)

首先，我检查生成的转换数据帧。

lda_df.take(3)
Out[73]:
[Row(Id=u'39', tf_features=SparseVector(1184, {89: 1.0, 98: 2.0, 108: 1.0, 168: 3.0, 210: 1.0, 231: 1.0, 255: 1.0, 290: 1.0, 339: 1.0, 430: 1.0, 552: 1.0, 817: 1.0, 832: 1.0, 836: 1.0, 937: 1.0, 999: 1.0, 1157: 1.0}), topicDistribution=DenseVector([0.0049, 0.0045, 0.0041, 0.0048, 0.9612, 0.004, 0.004, 0.0041, 0.0041, 0.0042])),
 Row(Id=u'7666', tf_features=SparseVector(1184, {15: 2.0, 186: 2.0, 387: 2.0, 429: 2.0, 498: 2.0}), topicDistribution=DenseVector([0.0094, 0.1973, 0.0079, 0.0092, 0.0082, 0.0077, 0.7365, 0.0078, 0.0079, 0.008])),
 Row(Id=u'44', tf_features=SparseVector(1184, {2: 1.0, 9: 1.0, 122: 1.0, 444: 1.0, 520: 1.0, 748: 1.0}), topicDistribution=DenseVector([0.0149, 0.8831, 0.0124, 0.0146, 0.013, 0.0122, 0.0122, 0.0124, 0.0125, 0.0127]))]

我的理解是topicDistribution列表示该行文档中每个主题的权重。所以它基本上是在文档上分发主题。说得通。

现在我检查LdaModel的两个方法。

ldaModel.describeTopics().show(2,truncate=False)
+-----+---------------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|topic|termIndices                            |termWeights                                                                                                                                                                                                               |
+-----+---------------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|0    |[0, 39, 68, 43, 50, 59, 49, 84, 2, 116]|[0.06362107696025378, 0.012284342954240298, 0.012104887652365797, 0.01066583226047289, 0.01022196994114675, 0.008836060842769776, 0.007638318779273158, 0.006478523079841644, 0.006421040016045976, 0.0057849412030562125]|
|1    |[3, 1, 8, 6, 4, 11, 14, 7, 9, 2]       |[0.03164821806301453, 0.031039573066565747, 0.018856890552836778, 0.017520190459705844, 0.017243870770548828, 0.01717645631844006, 0.017147930104624565, 0.01706912474813669, 0.016946362395557312, 0.016722361546119266] |
+-----+---------------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
only showing top 2 rows

这似乎通过术语ID显示每个主题中的单词或术语的分布。显示十个术语（可以在方法中更改为参数）。再次有道理。

第二种方法如下：

In [82]:

ldaModel.topicsMatrix()
Out[82]:
DenseMatrix(1184, 10, [132.7645, 3.0036, 13.3994, 3.6061, 9.3199, 2.4725, 9.3927, 3.4243, ..., 0.5774, 0.8335, 0.49, 0.6366, 0.546, 0.8509, 0.5081, 0.6627], 0)

现在按照文档，它说topicMatrix是一个主题矩阵，它的主题是列，术语中的术语是行。大小将是vocab_size X k（no_of_topics）。

我似乎在这里看不到这个输出意味着什么？

其次，如何将这些术语ID与实际的单词名称相关联。最后，我想要一个主题列表（如列或行），其中包含前10-15个单词/术语，以便我可以在看到那里出现的单词后解释主题。在这里，我只有一些ID，没有单词名称。

对这两个有任何想法吗？

编辑II：

当我刚做主题[0] [1]时，我收到如下面评论中提到的错误。

所以我将它转换为numpy数组，如下所示：

topics.toArray()

如下所示

array([[ 132.76450545,    2.26966742,    0.73646762,    7.35362275,
           0.57789645,    0.58248036,    0.65876465,    0.6695292 ,
           0.70034004,    0.63875301],
       [   3.00362754,   68.80842798,    0.48662529,  100.31770907,
           0.57867623,    0.5357196 ,    0.58895636,    0.83408602,
           0.53400242,    0.56291545],
       [  13.39943055,   37.070078

这是一个1184 X 10阵列，所以我假设它是一个主题矩阵，分布着单词。

如果是这种情况，则分布应该是概率，但在这里我们看到的数字超过1，如132.76等。那么这是什么？

Answer 1

方法topicsMatrix()会返回DenseMatrix个对象。

您作为输出看到的是此类对象的表示。＆＃34;属性＆＃34;这些对象是：

numRows, numCols, values, isTransposed=False

因此，从您获得的输出中，您可以将这些属性标识为：

numRows：词汇量大小（在您的情况下为1184）。
numCols：主题数量（在您的情况下为10个）。
values：包含元素的数组。这些元素在DenseMatrix内表示为普通向量。
isTransposed：矩阵是否转置（0，即你的情况下为假）。

因此，重要的是如何正确表达DenseMatrix。

从guide of pyspark我找到了一个对你有用的例子：

topics = ldaModel.topicsMatrix()
for topic in range(10):
    print("Topic " + str(topic) + ":")
    for word in range(0, ldaModel.vocabSize()):
        print(" " + str(topics[word][topic]))

根据documentation of DenseMatrix，如果您想获得更有用的表示，可以尝试使用这两种方法：

asML()
toArray()返回numpy.ndarray
toSparse()

了解Spark中的LDA

1 个答案: