我正在尝试使用LDA函数来评估R中的文本语料库。但是,当我这样做时,它似乎使用观察的行名而不是语料库中的实际单词。我在网上找不到任何其他的东西,所以我想我必须做一些非常基本的错误。
library(tm)
library(SnowballC)
library(tidytext)
library(stringr)
library(tidyr)
library(topicmodels)
library(dplyr)
#read in data
data <- read.csv('CSV_format_data.csv',sep=',')
#Create corpus/DTM
interviews <- as.matrix(data[,2])
ints.corpus <- Corpus(VectorSource(interviews))
ints.dtm <- TermDocumentMatrix(ints.corpus)
chapters_lda <- LDA(ints.dtm, k = 4, control = list(seed = 5421685))
chapters_lda_td <- tidy(chapters_lda,matrix="beta")
chapters_lda_td
head(ints.dtm$dimnames$Terms)
'chapters_lda_td'命令输出
# A tibble: 4,084 x 3
topic term beta
<int> <chr> <dbl>
1 1 1 0.000555
2 2 1 0.00399
3 3 1 0.000614
4 4 1 0.000699
5 1 2 0.0000195
6 2 2 0.000708
7 3 2 0.000731
8 4 2 0.00000155
9 1 3 0.000974
10 2 3 0.0000363
# ... with 4,074 more rows
请注意,“term”列中应该有数字而不是单词。行数匹配文档数乘以主题数,而不是术语数乘以主题数。 'head(ints.dtm $ dimnames $ Terms)'用于检查DTM中是否存在实际的单词。结果是:
[1] "aaye" "able" "adjust" "admission" "after" "age"
数据文件本身是一个非常标准的双列CSV文件,带有ID和文本块,并且在使用它和tm软件包进行其他文本挖掘工作时没有给我任何问题。任何帮助将不胜感激,谢谢!
答案 0 :(得分:0)
我明白了!这是因为我正在使用命令
ints.dtm <- TermDocumentMatrix(ints.corpus)
而不是
ints.dtm <- DocumentTermMatrix(ints.corpus)
我想Term和Document的顺序会切换他们的dimnames顺序,所以LDA抓错了。