使用sklearn获取单词的tf-idf权重

Question

我有一套维基百科的文本 使用 tf-idf ，我可以定义每个单词的权重。 以上是代码：

import pandas as pd                                             
from sklearn.feature_extraction.text import TfidfVectorizer

wiki = pd.read_csv('people_wiki.csv')

tfidf_vectorizer = TfidfVectorizer(max_features= 1000000)
tfidf = tfidf_vectorizer.fit_transform(wiki['text'])

目标是看到 tf-idf 列中显示的权重：

文件＆＃39; people_wiki.csv＆＃39;在这里：

https://ufile.io/udg1y

Answer 1

TfidfVectorizer具有vocabulary_属性，对您想要的内容非常有用。此属性是字典，其中单词为键，单词具有相应的列索引值。

对于下面的例子，我希望该字典的反转，我使用字典理解。

tfidf_vec = TfidfVectorizer()
transformed = tfidf_vec.fit_transform(raw_documents=['this is a quick example','just to show off'])
index_value={i[1]:i[0] for i in tfidf_vec.vocabulary_.items()}

index_value将进一步用作查找表。

fit_transform返回压缩稀疏行格式矩阵。对您要实现的目标有用的属性是indices和data。 indices返回实际包含数据的所有索引，data返回这些索引中的所有数据。

循环返回的transformed稀疏矩阵，如下所示。

fully_indexed = []
for row in transformed:
    fully_indexed.append({index_value[column]:value for (column,value) in zip(row.indices,row.data)})

返回包含以下内容的词典列表。

[{'example': 0.5, 'is': 0.5, 'quick': 0.5, 'this': 0.5},
 {'just': 0.5, 'off': 0.5, 'show': 0.5, 'to': 0.5}]

请注意，这样做只会返回特定文档的非零值。查看我的示例中的第一个文档，字典中没有'just', 0.0键值对。如果你想包括那些你需要稍微调整一下最后字典理解的那些。

喜欢这样

fully_indexed = []
transformed = np.array(transformed.todense())
for row in transformed:
    fully_indexed.append({index_value[column]:value for (column,value) in enumerate(row)})

我们创建一个密集版本的矩阵，作为numpy数组循环在numpy数组的每一行上枚举内容，然后填充字典列表。 这样做会导致输出也包括文档中不存在的所有单词。

[{'example': 0.5,'is': 0.5,'just': 0.0,'off': 0.0,'quick': 0.5,'show': 0.0,'this': 0.5,'to': 0.0},
 {'example': 0.0,'is': 0.0,'just': 0.5,'off': 0.5,'quick': 0.0,'show': 0.5,'this': 0.0,'to': 0.5}]

然后，您可以将字典添加到数据框中。

df['tf_idf'] = fully_indexed