根据命令的字典创建矩阵,以计算文档之间的相似度

时间:2019-07-03 13:04:56

标签: matrix nlp similarity tf-idf word-embedding

这是我的问题:

我有一个这样的数据框:

id   tfidf_weights   
1    {word1: 0.01, word2: 0.01, word3: 0.01, ...}
2    {word4: 0.01, word5: 0.01, word6: 0.01, ...}
3    {word7: 0.01, word8: 0.01, word9: 0.01, ...}
4    {word10: 0.01, word11: 0.01, word12: 0.01, ...}
5    {word13: 0.01, word14: 0.01, word15: 0.01, ...}    
.
.
.

列“ id”代表文档的ID,“ tfidf_weights”代表每个文档中每个单词的tfidf权重。

从此数据帧中,我可以获得具有以下结构的字典:

mydict = {1:{word1: 0.01, word2: 0.01, word3: 0.01, ...}, 2:{word4: 0.01, word5: 0.01, word6: 0.01, ...}, 3:{word7: 0.01, word8: 0.01, word9: 0.01, ...}, 4:{word10: 0.01, word11: 0.01, word12: 0.01, ...}, 5:{word13: 0.01, word14: 0.01, word15: 0.01, ...}, ...}

我想做的是从该词典中获得一个像这样的矩阵:

      word1     word2     word3     word4   ...
1     0.01      0.01      0.01      0.01     
2     0.01      0.01      0.01      0.01
3     0.01      0.01      0.01      0.01
4     0.01      0.01      0.01      0.01
5     0.01      0.01      0.01      0.01
.
.
.

谢谢您的帮助!

1 个答案:

答案 0 :(得分:0)

您可以直接使用pandas DataFrame类将字典列表转换为数据框。

import pandas as pd

a = [{"0": 0}, {"1": 1}]
df = pd.DataFrame(a)

要将其应用于您的问题,您要做的就是将mydict变成词典列表,而不是词典词典。