Question

我已经写了下面的代码来计算TF-IDF得分

docs=['ali is a good boy',
      'a good boy is not bad',
      'ali is not bad but bad is good']

cv=CountVectorizer()

# this steps generates word counts for the words in your docs
word_count_vector=cv.fit_transform(docs)
print(word_count_vector)
tfidf_transformer=TfidfTransformer(smooth_idf=True,use_idf=True)
tfidf_transformer.fit(word_count_vector)

# print idf values
df_idf = pd.DataFrame(tfidf_transformer.idf_, index=cv.get_feature_names(),columns=["idf_weights"])
# sort ascending
df_idf.sort_values(by=['idf_weights'])

# count matrix
count_vector=cv.transform(docs)
# tf-idf scores
tf_idf_vector=tfidf_transformer.transform(count_vector)
feature_names = cv.get_feature_names()
print(feature_names)
#get tfidf vector for first document
first_document_vector=tf_idf_vector[0]
#for first_document_vector in tf_idf_vector:
#print the scores
df=(pd.DataFrame(first_document_vector.T.todense().transpose(),columns=feature_names))
df.to_csv('file1.csv')

1-最后，我能够获得第一个文档的向量。但是我可能无法获得所有文档的向量。我尝试遍历并追加到数据框，但没有成功。 2-如何在csv文件中保存文档索引？
我必须在电影镜头数据集中的电影情节上运行它。这就是为什么保存documnet索引对我很重要的原因。

Answer 1

要获取所有文档的向量：

#get tfidf vector for all documents
all_document_vector = tf_idf_vector
df= pd.DataFrame(all_document_vector.T.todense().transpose(),columns=feature_names)

要使用索引导出csv文件：

df.to_csv('file1.csv',index=True, index_label = 'Index')

将每个文档转换为基于TF -IDF的向量

1 个答案: