使用Python在多个字典上计算Jaccard相似度?

时间:2019-11-04 14:58:08

标签: python dictionary data-science

我有一本这样的字典:

my_dict = {'Community A': ['User 1', 'User 2', 'User 3'],
           'Community B': ['User 1', 'User 2'],
           'Community C': ['User 3', 'User 4', 'User 5'],
           'Community D': ['User 1', 'User 3', 'User 4', 'User 5']}

我的目标是对不同社区及其唯一用户集之间的网络关系进行建模,以了解哪个社区最为相似。目前,我正在探索使用Jaccard相似度。

我碰到过类似的答案,但仅针对2个字典;就我而言,我有几个,并且需要计算每个集合之间的相似度。

另外,一些列表的长度也不同:在其他答案中,我发现0 sub在这种情况下是缺失值,我认为这对我来说是可行的。

对于此问题的任何帮助,我们将不胜感激!

1 个答案:

答案 0 :(得分:2)

您需要的是Jaccard相似性矩阵。如果这是元组(groupA,groupB)索引的索引,则可以将它们存储为dict。

下面是一个简单的实现

def jaccard(first, second):
    return len(set(first).intersection(second)) / len(set(first).union(second))

keys = list(my_dict.keys())
result_dict = {}

for k in keys:
    for l in keys:
        result_dict[(k,l)] = result_dict.get((l,k), jaccard(my_dict[k], my_dict[l]))

然后得到的字典看起来像

print(result_dict)
{('Community A', 'Community A'): 1.0, ('Community A', 'Community B'): 0.6666666666666666, ('Community A', 'Community C'): 0.2, ('Community A', 'Community D'): 0.4, ('Community B', 'Community A'): 0.6666666666666666, ('Community B', 'Community B'): 1.0, ('Community B', 'Community C'): 0.0, ('Community B', 'Community D'): 0.2, ('Community C', 'Community A'): 0.2, ('Community C', 'Community B'): 0.0, ('Community C', 'Community C'): 1.0, ('Community C', 'Community D'): 0.75, ('Community D', 'Community A'): 0.4, ('Community D', 'Community B'): 0.2, ('Community D', 'Community C'): 0.75, ('Community D', 'Community D'): 1.0}

显然,对角线元素是身份。

说明 get函数检查配对是否已计算,否则进行计算