将文本功能名称链接到其tfidf值

时间:2013-03-12 12:57:20

标签: python machine-learning text-processing scikit-learn

我正在使用scikit-learn从一个“文字袋”文本中提取文本特征(文本在单个单词上标记)。 为此,我使用TfidfVectorizer来减轻非常频繁的单词的重量(即:“a”,“the”等)。

text = 'Some text, with a lot of words...'
tfidf_vectorizer = TfidfVectorizer(
    min_df=1,  # min count for relevant vocabulary
    max_features=4000,  # maximum number of features
    strip_accents='unicode',  # replace all accented unicode char
    # by their corresponding  ASCII char
    analyzer='word',  # features made of words
    token_pattern=r'\w{4,}',  # tokenize only words of 4+ chars
    ngram_range=(1, 1),  # features made of a single tokens
    use_idf=True,  # enable inverse-document-frequency reweighting
    smooth_idf=True,  # prevents zero division for unseen words
    sublinear_tf=False)

# vectorize and re-weight
desc_vect = tfidf_vectorizer.fit_transform([text])

我现在希望能够将每个预测的特征与其对应的tfidf浮点值相关联,并将其存储在字典中

{'feature1:' tfidf1, 'feature2': tfidf2, ...}

我是通过使用

实现的
d = dict(zip(tfidf_vectorizer.get_feature_names(), desc_vect.data))

我想知道是否有更好的,以scikit-learn的方式来做这样的事情。

非常感谢你。

1 个答案:

答案 0 :(得分:5)

对于单个文档,这应该没问题。另一种在文档集较小时有效的替代方法是使用this recipe of minePandas

如果您想对多个文档执行此操作,则可以在DictVectorizer.inverse_transform中调整代码:

desc_vect = desc_vect.tocsr()

n_docs = desc_vect.shape[0]
tfidftables = [{} for _ in xrange(n_docs)]
terms = tfidf_vectorizer.get_feature_names()

for i, j in zip(*desc_vect.nonzero()):
    tfidftables[i][terms[j]] = X[i, j]