Question

我有一个Python列表：

k = [[1, 2], [4], [5, 6, 2], [1, 2], [3], [4]]

我想从中删除重复的元素。如果它是正常列表而不是列表我可以使用set。但不幸的是，该列表不可清除，也无法制作一组列表。只有元组。所以我可以将所有列表转换为元组，然后使用set并返回列表。但这并不快。

如何以最有效的方式完成？

以上列表的结果应为：

k = [[5, 6, 2], [1, 2], [3], [4]]

我不关心保留令。

注意：this question类似但不完全符合我的要求。搜索了SO但没有找到确切的重复。

基准：

import itertools, time


class Timer(object):
    def __init__(self, name=None):
        self.name = name

    def __enter__(self):
        self.tstart = time.time()

    def __exit__(self, type, value, traceback):
        if self.name:
            print '[%s]' % self.name,
        print 'Elapsed: %s' % (time.time() - self.tstart)


k = [[1, 2], [4], [5, 6, 2], [1, 2], [3], [5, 2], [6], [8], [9]] * 5
N = 100000

print len(k)

with Timer('set'):
    for i in xrange(N):
        kt = [tuple(i) for i in k]
        skt = set(kt)
        kk = [list(i) for i in skt]


with Timer('sort'):
    for i in xrange(N):
        ks = sorted(k)
        dedup = [ks[i] for i in xrange(len(ks)) if i == 0 or ks[i] != ks[i-1]]


with Timer('groupby'):
    for i in xrange(N):
        k = sorted(k)
        dedup = list(k for k, _ in itertools.groupby(k))

with Timer('loop in'):
    for i in xrange(N):
        new_k = []
        for elem in k:
            if elem not in new_k:
                new_k.append(elem)

对于短名单，

“循环输入”（二次方法）最快。对于长列表，它比除了groupby方法之外的所有人都快。这有意义吗？

对于简短列表（代码中的那个），100000次迭代：

[set] Elapsed: 1.3900001049
[sort] Elapsed: 0.891000032425
[groupby] Elapsed: 0.780999898911
[loop in] Elapsed: 0.578000068665

对于较长的列表（代码中的一个重复5次）：

[set] Elapsed: 3.68700003624
[sort] Elapsed: 3.43799996376
[groupby] Elapsed: 1.03099989891
[loop in] Elapsed: 1.85900020599

Answer 1

>>> k = [[1, 2], [4], [5, 6, 2], [1, 2], [3], [4]]
>>> import itertools
>>> k.sort()
>>> list(k for k,_ in itertools.groupby(k))
[[1, 2], [3], [4], [5, 6, 2]]

itertools经常为这类问题提供最快，最强大的解决方案，而且很好值得熟悉！ - ）

编辑：正如我在评论中提到的，正常的优化工作主要集中在大型投入（大O方法）上，因为它提供了很好的工作回报。但有时候（主要是针对深层内部代码循环中的“悲剧性关键瓶颈”，正在推动性能限制的界限），可能需要更详细地介绍概率分布，决定优化哪些性能指标（可能是上限或第90个百分位比平均值或中位数更重要，取决于一个人的应用程序），在开始时执行可能的启发式检查以根据输入数据特征选择不同的算法，等等。

仔细测量“点”性能（代码A与特定输入的代码B）是这个代价极高的过程的一部分，标准库模块timeit在这里有所帮助。但是，在shell提示符下使用它会更容易。例如，这是一个简短的模块，用于展示此问题的一般方法，将其另存为nodup.py：

import itertools

k = [[1, 2], [4], [5, 6, 2], [1, 2], [3], [4]]

def doset(k, map=map, list=list, set=set, tuple=tuple):
  return map(list, set(map(tuple, k)))

def dosort(k, sorted=sorted, xrange=xrange, len=len):
  ks = sorted(k)
  return [ks[i] for i in xrange(len(ks)) if i == 0 or ks[i] != ks[i-1]]

def dogroupby(k, sorted=sorted, groupby=itertools.groupby, list=list):
  ks = sorted(k)
  return [i for i, _ in itertools.groupby(ks)]

def donewk(k):
  newk = []
  for i in k:
    if i not in newk:
      newk.append(i)
  return newk

# sanity check that all functions compute the same result and don't alter k
if __name__ == '__main__':
  savek = list(k)
  for f in doset, dosort, dogroupby, donewk:
    resk = f(k)
    assert k == savek
    print '%10s %s' % (f.__name__, sorted(resk))

注意完整性检查（当你执行python nodup.py时执行）和基本的提升技术（使每个函数的局部值保持恒定的全局名称）以使事情平等。

现在我们可以在微小的示例列表上运行检查：

$ python -mtimeit -s'import nodup' 'nodup.doset(nodup.k)'
100000 loops, best of 3: 11.7 usec per loop
$ python -mtimeit -s'import nodup' 'nodup.dosort(nodup.k)'
100000 loops, best of 3: 9.68 usec per loop
$ python -mtimeit -s'import nodup' 'nodup.dogroupby(nodup.k)'
100000 loops, best of 3: 8.74 usec per loop
$ python -mtimeit -s'import nodup' 'nodup.donewk(nodup.k)'
100000 loops, best of 3: 4.44 usec per loop

确认二次方法具有足够小的常数，使其对具有较少重复值的小型列表具有吸引力。使用没有重复的短列表：

$ python -mtimeit -s'import nodup' 'nodup.donewk([[i] for i in range(12)])'
10000 loops, best of 3: 25.4 usec per loop
$ python -mtimeit -s'import nodup' 'nodup.dogroupby([[i] for i in range(12)])'
10000 loops, best of 3: 23.7 usec per loop
$ python -mtimeit -s'import nodup' 'nodup.doset([[i] for i in range(12)])'
10000 loops, best of 3: 31.3 usec per loop
$ python -mtimeit -s'import nodup' 'nodup.dosort([[i] for i in range(12)])'
10000 loops, best of 3: 25 usec per loop

二次方法也不错，但sort和groupby方法更好。等等。

如果（正如对性能的痴迷所表明的那样）这个操作处于推动边界应用程序的核心内循环，那么值得尝试对其他代表性输入样本进行相同的测试，可能会检测到一些可能的简单测量启发式地让你选择一种或另一种方法（当然，措施必须快速）。

同样值得考虑为k保留不同的表示形式 - 为什么它必须首先是列表而不是一组元组？如果重复删除任务频繁，并且分析显示它是程序的性能瓶颈，那么始终保留一组元组并仅在需要的时候从中获取列表列表，例如，整体上可能更快。 / p>

Answer 2

>>> k = [[1, 2], [4], [5, 6, 2], [1, 2], [3], [4]]
>>> k = sorted(k)
>>> k
[[1, 2], [1, 2], [3], [4], [4], [5, 6, 2]]
>>> dedup = [k[i] for i in range(len(k)) if i == 0 or k[i] != k[i-1]]
>>> dedup
[[1, 2], [3], [4], [5, 6, 2]]

我不知道它是否必然更快，但你不必使用元组和集合。

Answer 3

手动执行，创建新的k列表并添加到目前为止找不到的条目：

k = [[1, 2], [4], [5, 6, 2], [1, 2], [3], [4]]
new_k = []
for elem in k:
    if elem not in new_k:
        new_k.append(elem)
k = new_k
print k
# prints [[1, 2], [4], [5, 6, 2], [3]]

简单易懂，并保留每个元素第一次出现的顺序应该是有用的，但我猜它是复杂性的二次性，因为你在为每个元素搜索整个new_k。

Answer 4

即使你的“长”名单也很短。另外，你选择它们来匹配实际数据吗？性能会随着这些数据的实际情况而变化。例如，您有一个重复的重复列表，以制作更长的列表。这意味着二次解决方案在您的基准测试中是线性的，但实际上并非如此。

对于实际大型列表，设置代码是您最好的选择 - 它是线性的（虽然空间很大）。 sort和groupby方法是O（n log n），并且方法中的循环显然是二次的，所以你知道这些将如何扩展，因为n变得非常大。如果这是您正在分析的数据的实际大小，那么谁在乎呢？它很小。

顺便说一句，如果我没有形成一个中间列表来制作这个集合，我会看到一个明显的加速，也就是说如果我替换

kt = [tuple(i) for i in k]
skt = set(kt)

与

skt = set(tuple(i) for i in k)

真正的解决方案可能取决于更多信息：您确定列表列表确实是您需要的表示吗？

Answer 5

元组列表和{}可用于删除重复项

>>> [list(tupl) for tupl in {tuple(item) for item in k }]
[[1, 2], [5, 6, 2], [3], [4]]
>>>

Answer 6

到目前为止，此问题的所有set相关解决方案都需要在迭代前创建整个set。

通过迭代列表列表并添加到＆＃34;看到＆＃34;可以使这个懒惰，同时保持顺序。 set。然后，只有在此跟踪器set中找不到列表时才会生成列表。

此unique_everseen食谱可在itertools docs中找到。它也可以在第三方toolz库中找到：

from toolz import unique

k = [[1, 2], [4], [5, 6, 2], [1, 2], [3], [4]]

# lazy iterator
res = map(list, unique(map(tuple, k)))

print(list(res))

[[1, 2], [4], [5, 6, 2], [3]]

请注意，tuple转换是必要的，因为列表不可清除。

Answer 7

这应该有效。

k = [[1, 2], [4], [5, 6, 2], [1, 2], [3], [4]]

k_cleaned = []
for ele in k:
    if set(ele) not in [set(x) for x in k_cleaned]:
        k_cleaned.append(ele)
print(k_cleaned)

# output: [[1, 2], [4], [5, 6, 2], [3]]

Answer 8

a_list = [
          [1,2],
          [1,2],
          [2,3],
          [3,4]
]

print (list(map(list,set(map(tuple,a_list)))))

输出：[[1, 2], [3, 4], [2, 3]]

Answer 9

另一个可能更通用，更简单的解决方案是创建一个由字符串版本的对象键入的字典，并在结尾处获取values（）：

>>> dict([(unicode(a),a) for a in [["A", "A"], ["A", "A"], ["A", "B"]]]).values()
[['A', 'B'], ['A', 'A']]

问题在于，这仅适用于其字符串表示形式是足够好的唯一键的对象（对于大多数本机对象都是如此）。

Answer 10

创建一个以元组为键的字典，然后打印键。

使用元组作为键，索引作为值
打印字典键列表

k = [[1, 2], [4], [5, 6, 2], [1, 2], [3], [4]]

dict_tuple = {tuple(item): index for index, item in enumerate(k)}

print [list(itm) for itm in dict_tuple.keys()]

# prints [[1, 2], [5, 6, 2], [3], [4]]

Answer 11

奇怪的是，以上答案删除了“重复项”，但是如果我也想删除重复的值怎么办？以下应该有用，并且不会在内存中创建新对象！

def dictRemoveDuplicates(self):
    a=[[1,'somevalue1'],[1,'somevalue2'],[2,'somevalue1'],[3,'somevalue4'],[5,'somevalue5'],[5,'somevalue1'],[5,'somevalue1'],[5,'somevalue8'],[6,'somevalue9'],[6,'somevalue0'],[6,'somevalue1'],[7,'somevalue7']]


print(a)
temp = 0
position = -1
for pageNo, item in a:
    position+=1
    if pageNo != temp:
        temp = pageNo
        continue
    else:
        a[position] = 0
        a[position - 1] = 0
a = [x for x in a if x != 0]         
print(a)

并且o / p是：

[[1, 'somevalue1'], [1, 'somevalue2'], [2, 'somevalue1'], [3, 'somevalue4'], [5, 'somevalue5'], [5, 'somevalue1'], [5, 'somevalue1'], [5, 'somevalue8'], [6, 'somevalue9'], [6, 'somevalue0'], [6, 'somevalue1'], [7, 'somevalue7']]
[[2, 'somevalue1'], [3, 'somevalue4'], [7, 'somevalue7']]

Answer 12

有点背景，我刚开始使用python并学到了理解。

k = [[1, 2], [4], [5, 6, 2], [1, 2], [3], [4]]
dedup = [elem.split('.') for elem in set(['.'.join(str(int_elem) for int_elem in _list) for _list in k])]

Answer 13

k=[[1, 2], [4], [5, 6, 2], [1, 2], [3], [5, 2], [3], [8], [9]]
kl=[]
kl.extend(x for x in k if x not in kl)
k=list(kl)
print(k)

打印，

[[1, 2], [4], [5, 6, 2], [3], [5, 2], [8], [9]]

从列表列表中删除重复项

13 个答案: