R:LDA Topicmodels - 这些条款的分布在哪里?

时间:2015-07-18 08:56:00

标签: r tm topic-modeling

主题是关于TermDocumentMatrix的术语(=单词)的多项分布。使用标准数据集k=5作为主题数...

library(topicmodels)
data("AssociatedPress", package = "topicmodels")

k <- 5 
lda <- LDA(AssociatedPress[1:20,], control = list(alpha = 0.1), k)

str(lda)提供以下输出

Formal class 'LDA_VEM' [package "topicmodels"] with 14 slots
..@ alpha          : num 0.0184
..@ call           : language LDA(x = AssociatedPress[1:20, ], k = k, control = list(alpha = 0.1))
..@ Dim            : int [1:2] 20 10473
..@ control        :Formal class 'LDA_VEMcontrol' [package "topicmodels"] with 13 slots
.. .. ..@ estimate.alpha: logi TRUE
.. .. ..@ alpha         : num 0.1
.. .. ..@ seed          : int 1437208609
.. .. ..@ verbose       : int 0
.. .. ..@ prefix        : chr
.. .. ..@ save          : int 0
.. .. ..@ nstart        : int 1
.. .. ..@ best          : logi TRUE
.. .. ..@ keep          : int 0
.. .. ..@ estimate.beta : logi TRUE
.. .. ..@ var           :Formal class 'OPTcontrol' [package "topicmodels"] with 2 slots
.. .. .. .. ..@ iter.max: int 500
.. .. .. .. ..@ tol     : num 1e-06
.. .. ..@ em            :Formal class 'OPTcontrol' [package "topicmodels"] with 2 slots
.. .. .. .. ..@ iter.max: int 1000
.. .. .. .. ..@ tol     : num 1e-04
.. .. ..@ initialize    : chr "random"
..@ k              : int 5
..@ terms          : chr [1:10473] "aaron" "abandon" "abandoned" "abandoning" ...
..@ documents      : NULL
..@ beta           : num [1:5, 1:10473] -100 -100 -100 -100 -100 -100 -100 -100 -100 -100 ...
..@ gamma          : num [1:20, 1:5] 7.00e-05 6.79e-05 7.22e-05 8.89e-05 2.79e-04 ...
..@ wordassignments:List of 5
.. ..$ i   : int [1:2533] 1 1 1 1 1 1 1 1 1 1 ...
.. ..$ j   : int [1:2533] 116 153 218 272 299 302 447 455 548 597 ...
.. ..$ v   : num [1:2533] 5 5 5 5 5 5 5 5 5 5 ...
.. ..$ nrow: int 20
.. ..$ ncol: int 10473
.. ..- attr(*, "class")= chr "simple_triplet_matrix"
..@ loglikelihood  : num [1:20] -1512 -1584 -1400 -1324 -418 ...
..@ iter           : int 12
..@ logLiks        : num(0) 
..@ n              : int 3636

lda中没有任何对象似乎存储了我需要的数据。我知道gamma给出了文档中主题的分布,但是如何通过术语访问主题的分布?

2 个答案:

答案 0 :(得分:4)

您可以使用posterior(lda)$terms来查看主题的后验分布。

library(topicmodels)
data("AssociatedPress", package = "topicmodels")
lda <- LDA(AssociatedPress[1:20,], control = list(alpha = 0.1), k = 2)

terms <- as.data.frame(t(posterior(lda)$terms))
head(terms)

                      1            2
aaron      3.720076e-44 3.720076e-44
abandon    3.720076e-44 3.720076e-44
abandoned  3.720076e-44 3.720076e-44
abandoning 3.720076e-44 3.720076e-44
abbott     3.720076e-44 3.720076e-44
abboud     3.720076e-44 3.720076e-44

答案 1 :(得分:0)

看起来贝塔在fit对象中称为beta的插槽中作为k * n矩阵返回。因此,您可以通过以下方式检查来自lda()的号码:

lda@beta

条款也在lda@terms,因此您可以使用它们创建数据框以查找特定的条款:

betas <- data.frame(t(lda@beta))
betas$term <- lda@terms
names(betas) <- c(paste("topic", seq(k), sep="."), "term")
head(betas)

这是我在运行时看到的内容:

  topic.1 topic.2 topic.3 topic.4 topic.5       term
1    -100    -100    -100    -100    -100      aaron
2    -100    -100    -100    -100    -100    abandon
3    -100    -100    -100    -100    -100  abandoned
4    -100    -100    -100    -100    -100 abandoning
5    -100    -100    -100    -100    -100     abbott
6    -100    -100    -100    -100    -100     abboud

如果你扫描更多的表格,你会看到哪些条款除了-100之外还有其他东西作为他们的贝塔。例如:

> betas[19,]
     topic.1   topic.2   topic.3   topic.4   topic.5 term
19 -181.7717 -176.7156 -6.919684 -196.3646 -6.398595 able