我有一个支持mongo的联系人数据库,我试图以不同的方式查找重复的条目。
例如,如果2个联系人拥有相同的电话号码,则会将其标记为可能的重复,同样适用于电子邮件等。
我正在使用pyMongo和MongoEngine在Debian上使用MongoDB 2.4.2。
我到目前为止最接近的是查找和统计包含相同电话号码的记录:
dbh.person_document.aggregate([
{'$unwind': '$phones'},
{'$group': {'_id': '$phones', 'count': {'$sum': 1}}},
{'$sort': SON([('count', -1), ('_id', -1)])}
])
# Results in
{u'ok': 1.0,
u'result': [{u'_id': {u'number': u'404-231-4444', u'showroom_id': 5}, u'count': 5},
{u'_id': {u'number': u'205-265-6666', u'showroom_id': 5}, u'count': 5},
{u'_id': {u'number': u'213-785-7777', u'showroom_id': 5}, u'count': 4},
{u'_id': {u'number': u'334-821-9999', u'showroom_id': 5}, u'count': 3}
]}
所以我可以得到重复的数字,但我不能为我的生活弄清楚如何返回实际包含这些项目的文档数组!
我想看到每个数字的这种返回数据:
# The ObjectIDs of the documents that contained the duplicate phone numbers
{u'_id': {u'number': u'404-231-4444', u'showroom_id': 5},
u'ids': [ObjectId('51c67e322b2192121ec4d8f2'), ObjectId('51c67e312b2192121ec4d8f0')],
u'count': 2},
非常感谢任何帮助!
答案 0 :(得分:22)
在MongoDB - Use aggregation framework or mapreduce for matching array of strings within documents (profile matching)处逐字逐句找到解决方案。
最终结果,添加一些额外内容以包含名称:
dbh.person_document.aggregate([
{'$unwind': '$phones'},
{'$group': {
'_id': '$phones',
'matchedDocuments': {
'$push':{
'id': '$_id',
'name': '$full_name'
}},
'num': { '$sum': 1}
}},
{'$match':{'num': {'$gt': 1}}}
])