Question

我是scikit-learn的新手，我正在使用TfidfVectorizer在一组文档中查找术语的tfidf值。我使用以下代码来获得相同的内容。

vectorizer = TfidfVectorizer(stop_words=u'english',ngram_range=(1,5),lowercase=True)
X = vectorizer.fit_transform(lectures)

现在如果我打印X，我能够看到矩阵中的所有条目，但我如何根据tfidf分数找到前n个条目。除此之外，是否有任何方法可以帮助我找到基于每个ngram的tfidf得分的前n个条目，即unigram，bigram，trigram等中的顶级条目？

Answer 1

从版本0.15开始，TfidfVectorizer学习的特征的全局术语加权可以通过属性idf_访问，该属性将返回一个长度等于特征维度的数组。通过此权重对要素进行排序，以获得最高加权要素：

from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np

lectures = ["this is some food", "this is some drink"]
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(lectures)
indices = np.argsort(vectorizer.idf_)[::-1]
features = vectorizer.get_feature_names()
top_n = 2
top_features = [features[i] for i in indices[:top_n]]
print top_features

输出：

[u'food', u'drink']

通过ngram获取顶级特征的第二个问题可以使用相同的想法完成，还有一些额外的步骤将特征分成不同的组：

from sklearn.feature_extraction.text import TfidfVectorizer
from collections import defaultdict

lectures = ["this is some food", "this is some drink"]
vectorizer = TfidfVectorizer(ngram_range=(1,2))
X = vectorizer.fit_transform(lectures)
features_by_gram = defaultdict(list)
for f, w in zip(vectorizer.get_feature_names(), vectorizer.idf_):
    features_by_gram[len(f.split(' '))].append((f, w))
top_n = 2
for gram, features in features_by_gram.iteritems():
    top_features = sorted(features, key=lambda x: x[1], reverse=True)[:top_n]
    top_features = [f[0] for f in top_features]
    print '{}-gram top:'.format(gram), top_features

输出：

1-gram top: [u'drink', u'food']
2-gram top: [u'some drink', u'some food']

如何在scikit-learn中查看tfidf之后的term-document矩阵的前n个条目

1 个答案: