Question

我解析了一个庞大的书目记录数据库（大约2000万条记录）。每条记录都有唯一的ID字段，一组作者和一组描述书目记录主要内容的术语/关键字。例如，典型的书目记录如下：

ID: 001
Author: author1
Author: author2
Term: term1
Term: term2

首先，我创建两个defaultdict来存储作者和术语：

d1 = defaultdict(lambda : defaultdict(list))
d2 = defaultdict(lambda : defaultdict(list))

接下来，我填写作者：

d1['id001'] = ['author1', 'author2'] 
d1['id002'] = ['author3'] 
d1['id003'] = ['author1', 'author4']

和关键字：

d2['id001'] = ['term1', 'term2']  
d2['id002'] = ['term2', 'term3']
d2['id003'] = ['term4']

问题是如何连接这两个词典以获取直接链接作者和术语之间的数据对象：

author1|term1,term2,term4
author2|term1,term2
author3|term2,term3
author4|term4

我有两个问题：

建议的方法是否合适，还是应该以其他方式存储/表示数据？
你能否大致建议如何加入两个词典？

Answer 1

这是一种方式。请注意，如下所示，您不需要使用嵌套字典或defaultdict作为初始步骤。

from collections import defaultdict

d1 = {}
d2 = {}

d1['id001'] = ['author1', 'author2'] 
d1['id002'] = ['author3'] 
d1['id003'] = ['author1', 'author4'] 

d2['id001'] = ['term1', 'term2']  
d2['id002'] = ['term2', 'term3']
d2['id003'] = ['term4']

res = defaultdict(list)

for ids in set(d1) & set(d2):
    for v in d1[ids]:
        res[v].extend(d2[ids])

res = {k: sorted(v) for k, v in res.items()}

# {'author1': ['term1', 'term2', 'term4'],
#  'author2': ['term1', 'term2'],
#  'author3': ['term2', 'term3'],
#  'author4': ['term4']}

Answer 2

这些问题的关键是建立临时词典＆＃34;正确导向＆＃34;从现有的。一旦完成，它就会更加清晰（由于正确的字典查找，复杂性很好）

这是我的解决方案：

首先创建一个dict author =＆gt;来自d1的ID。

然后创建结果（dict author =＆gt; terms）。在创建的作者中循环=＆gt; id使用展平值d2来显示和填充结果。

d1=dict()
d2=dict()

d1['id001'] = ['author1', 'author2']
d1['id002'] = ['author3']
d1['id003'] = ['author1', 'author4']

d2['id001'] = ['term1', 'term2']
d2['id002'] = ['term2', 'term3']
d2['id003'] = ['term4']

import collections

authors_id = collections.defaultdict(list)
for k,v in d1.items():
    for a in v:
        authors_id[a].append(k)

print(dict(authors_id)) # convert to dict for clearer printing


authors_term = collections.defaultdict(list)
for k,v in authors_id.items():
    for a in v:
        for i in d2[a]:
            authors_term[k].append(i)

print(dict(authors_term)) # convert to dict for clearer printing

结果：

{'author4': ['id003'], 'author3': ['id002'], 'author1': ['id001', 'id003'], 'author2': ['id001']}
{'author3': ['term2', 'term3'], 'author4': ['term4'], 'author1': ['term1', 'term2', 'term4'], 'author2': ['term1', 'term2']}

在Python

2 个答案: