LDA返回数字而不是Term Document Matrix中的单词

时间:2018-03-28 22:20:12

标签: r text-mining lda

我正在尝试使用LDA函数来评估R中的文本语料库。但是,当我这样做时,它似乎使用观察的行名而不是​​语料库中的实际单词。我在网上找不到任何其他的东西,所以我想我必须做一些非常基本的错误。

library(tm)
library(SnowballC)
library(tidytext)
library(stringr)
library(tidyr)
library(topicmodels)
library(dplyr)

#read in data
data <- read.csv('CSV_format_data.csv',sep=',')
#Create corpus/DTM
interviews <- as.matrix(data[,2])
ints.corpus <- Corpus(VectorSource(interviews))
ints.dtm <- TermDocumentMatrix(ints.corpus)

chapters_lda <- LDA(ints.dtm, k = 4, control = list(seed = 5421685))
chapters_lda_td <- tidy(chapters_lda,matrix="beta")
chapters_lda_td

head(ints.dtm$dimnames$Terms)

'chapters_lda_td'命令输出

# A tibble: 4,084 x 3
   topic term        beta
   <int> <chr>      <dbl>
 1     1 1     0.000555  
 2     2 1     0.00399   
 3     3 1     0.000614  
 4     4 1     0.000699  
 5     1 2     0.0000195 
 6     2 2     0.000708  
 7     3 2     0.000731  
 8     4 2     0.00000155
 9     1 3     0.000974  
10     2 3     0.0000363 
# ... with 4,074 more rows

请注意,“term”列中应该有数字而不是单词。行数匹配文档数乘以主题数,而不是术语数乘以主题数。 'head(ints.dtm $ dimnames $ Terms)'用于检查DTM中是否存在实际的单词。结果是:

[1] "aaye"      "able"      "adjust"    "admission" "after"     "age" 

数据文件本身是一个非常标准的双列CSV文件,带有ID和文本块,并且在使用它和tm软件包进行其他文本挖掘工作时没有给我任何问题。任何帮助将不胜感激,谢谢!

1 个答案:

答案 0 :(得分:0)

我明白了!这是因为我正在使用命令

ints.dtm <- TermDocumentMatrix(ints.corpus)

而不是

ints.dtm <- DocumentTermMatrix(ints.corpus)

我想Term和Document的顺序会切换他们的dimnames顺序,所以LDA抓错了。