从python中的2d列表中删除重复的词典

时间:2017-12-28 08:25:37

标签: python dictionary duplicates

我有一个二维词典列表:

results = [
    [{'a':1, 'b':[1,2,3]},
     {'a':10, 'b':[7,8,9]},
     {'a':100, 'b':[100,200,300]}], 
    [{'a':123, 'b':[9,5,2]},
        {'a':100, 'b':[100,200,300]}], 
    [{'a':10, 'b':[7,8,9]}]
]

我想将此2D列表展平为一维列表,然后删除重复的词典。通过删除重复项,我的意思是例如在第一个和第二个列表中删除相同字典的多个条目,如{'a':100, 'b':[100,200,300]}。目前我正在使用以下技术

from itertools import chain
x = list(chain.from_iterable(results)) # Flattens the list of dicts
y = [dict(t) for t in set([tuple(d.items()) for d in x])]

但最后一次抛出以下错误

Traceback (most recent call last):
  File "/home/user/PycharmProjects/myapp/main.py", line 122, in <module>
    y = [dict(t) for t in set([tuple(d.items()) for d in x])]
TypeError: unhashable type: 'list'

预期输出将是一个唯一的单词列表,如下所示

[
    {'a':1, 'b':[1,2,3]},
     {'a':10, 'b':[7,8,9]},
     {'a':100, 'b':[100,200,300]}, 
    {'a':123, 'b':[9,5,2]},
]

如果这是一种正确的方法,有人可以指导我。如果没有,那么更好,更正确的方法是什么?感谢

2 个答案:

答案 0 :(得分:3)

这是一种非常简单的方式:

set_results = []
for r in results:
    for sub_r in r:
        if not sub_r in set_results:
            set_results.append(sub_r)

输出:

[{'a': 1, 'b': [1, 2, 3]},
 {'a': 10, 'b': [7, 8, 9]},
 {'a': 100, 'b': [100, 200, 300]},
 {'a': 123, 'b': [9, 5, 2]}]

答案 1 :(得分:0)

你可以制作这样的平面列表:

in_list = [
   [
    {'a':1, 'b':[1,2,3]},
    {'a':10, 'b':[7,8,9]},
    {'a':100, 'b':[100,200,300]}
   ], 

   [
     {'a':123, 'b':[9,5,2]},
     {'a':100, 'b':[100,200,300]}
   ], 

   [
    {'a':10, 'b':[7,8,9]}
   ]
]

l = [i for d in results for i in in_list]

这将输出:

[
  {'b': [1, 2, 3], 'a': 1}, 
  {'b': [7, 8, 9], 'a': 10}, 
  {'b': [100, 200, 300], 'a': 100}, 
  {'b': [9, 5, 2], 'a': 123}, 
  {'b': [100, 200, 300], 'a': 100}, 
  {'b': [7, 8, 9], 'a': 10}
]

现在要删除重复项,您可以使用itertools.groupby对类似元素进行分组。您需要将组密钥指定为两个元素

  from itertools import groupby
  from operator import itergetter

  r = [k for k,g in list(itertools.groupby(sorted([[(k,v) for k,v in d.items()] for d in l]), itemgetter(0,1)))]

这将输出

 [
   (('b', [1, 2, 3]), ('a', 1)), 
   (('b', [7, 8, 9]), ('a', 10)), 
   (('b', [9, 5, 2]), ('a', 123)), 
   (('b', [100, 200, 300]), ('a', 100))
 ]

最后将此序列转换为dict以获得所需的输出

 [dict(e) for e in r]

这将输出

 [
  {'b': [1, 2, 3], 'a': 1}, 
  {'b': [7, 8, 9], 'a': 10}, 
  {'b': [9, 5, 2], 'a': 123}, 
  {'b': [100, 200, 300], 'a': 100}
 ]