Question

有关于为text2vec包创建DTM（文档术语矩阵）的文档，例如在构建矩阵后应用TFIDF权重的以下内容：

data("movie_review")
N <- 1000
it <- itoken(movie_review$review[1:N], preprocess_function = tolower,
tokenizer = word_tokenizer)
v <- create_vocabulary(it)
vectorizer <- vocab_vectorizer(v)
it <- itoken(movie_review$review[1:N], preprocess_function = tolower,
tokenizer = word_tokenizer)
dtm <- create_dtm(it, vectorizer)
# get tf-idf matrix from bag-of-words matrix
dtm_tfidf <- transformer_tfidf(dtm)

通常的做法是根据训练数据集创建DTM，并将该数据集用作模型的输入。然后，当遇到新数据（测试集）时，需要在新数据上创建相同的DTM（意味着在训练集中使用的所有相同术语）。无论如何在包中以这种方式转换新的数据集（在scikit中我们只有这种类型的实例的转换方法）。

Answer 1

实际上，当我开始text2vec时，我把管道保留在第一位。现在，我们正在使用更新的documentation准备新版本。

对于v0.3以下应该有效：

data("movie_review")
train_rows = 1:1000
prepr = tolower
tok = word_tokenizer

it <- itoken(movie_review$review[train_rows], prepr, tok, ids = movie_review$id[train_rows])
v <- create_vocabulary(it) %>% 
  prune_vocabulary(term_count_min = 5)

vectorizer <- vocab_vectorizer(v)
it <- itoken(movie_review$review[train_rows], prepr, tok)
dtm_train <- create_dtm(it, vectorizer)
# get idf scaling from train data
idf = get_idf(dtm_train)
# create tf-idf
dtm_train_tfidf <- transform_tfidf(dtm_train, idf)

test_rows = 1001:2000
# create iterator
it <- itoken(movie_review$review[test_rows], prepr, tok, ids = movie_review$id[test_rows])
# create dtm using same vectorizer, but new iterator
dtm_test_tfidf <- create_dtm(it, vectorizer) %>% 
  # transform  tf-idf using idf from train data
  transform_tfidf(idf)

R中的text2vec转换新数据？

1 个答案: