Question

我想检查groupby()和基于defaultdict的自定义配方之间哪个更快，以便对数据进行分组：

from collections import defaultdict
from itertools import groupby

def g1(data):
    groupdict = defaultdict(list)
    for value in data:
        group = value[0]
        value = value[1]
        groupdict[group].append(value)
    return [(key, ''.join(values)) for key, values in groupdict.items()]

def g2(data):
    extractKey = lambda x: x[0]
    aggregate = lambda g: ''.join(x[1] for x in g)
    #return [(k, aggregate(g)) for k, g in groupby(data, extractKey)]
    return [(k, aggregate(g)) for k, g in groupby(sorted(data, key=extractKey), extractKey)]

import random

keys = list(range(1,100))
vals = 'abcdefghijklmnopqrstuvwxyz'

data = [(random.choice(keys), random.choice(vals)) for _ in range(1000)]
#data.sort()

import timeit

for g in ('g1', 'g2'):
    print(g, timeit.timeit(g + '(data)', number=1000, globals=globals()))

令我惊讶的是，groupby()几乎比defaultdict慢3倍。

g1 0.17048488299769815

g2 0.47328821099654306

即使数据已预先排序，即，我们也不会计算sort() 所花费的时间（取消注释两条注释行），据推测groupby()比其他配方执行更快，几乎是慢1.5倍。

g1 0.17607520399906207

g2 0.2464493800071068

为什么呢？ g2中是否有一些我忽略的优化？

Answer 1

与仅仅索引到元组相比，它与lambda调用的开销有关。

如果您重写第一个案例以使用extractKey：

def g1(data):
    groupdict = defaultdict(list)
    extractKey = lambda x: x[0]
    for value in data:
        group = extractKey(value)
        value = value[1]
        groupdict[group].append(value)
    return [(key, ''.join(values)) for key, values in groupdict.items()]

然后他们的速度大致相同（在非分拣的情况下）。

为什么itertools.groupby（）比使用defaultdict的等效方法慢得多？

1 个答案: