在Gensim中为我的词汇计算tf-idf

时间:2017-10-09 23:06:46

标签: python gensim tf-idf

我有一组单词(n-gram),我需要计算tf-idf值。这些话是;

myvocabulary = ['tim tam', 'jam', 'fresh milk', 'chocolates', 'biscuit pudding']

我的语料库如下所示。

corpus = {1: "making chocolates biscuit pudding easy first get your favourite biscuit chocolates", 2: "tim tam drink new recipe that yummy and tasty more thicker than typical milkshake that uses normal chocolates", 3: "making chocolates drink different way using fresh milk egg"}

我目前使用sklearn在myvocabulary中获取我的n-gram的tf-idf值,如下所示。

tfidf = TfidfVectorizer(vocabulary = myvocabulary, ngram_range = (1,3))
tfs = tfidf.fit_transform(corpus.values())

但是,我有兴趣在Gensim做同样的事情。 Forall我在Gensim遇到的例子;

  1. 只使用unigrams(也可以用于bigrams和trigrams)
  2. 为所有单词计算(我只想计算myvocabulary中的单词)
  3. 因此,请帮助我了解如何在Gensim中完成上述两件事。

1 个答案:

答案 0 :(得分:0)

在gensim中,对于字典,您应该使用gensim.corpora.Dictionary课程,请查看examples

不幸的是,我们一般都没有支持ngrams,只有Phrases

的单词的bigrams