反向`operator.itemgetter`

时间:2012-10-09 04:11:41

标签: python list indexing

我最近在this question工作。基本上,my answer涉及使用sorted作为lambda来调用key

sorted(range(len(L)), key=lambda i : L[i])

鉴于性能是问题的核心,并且lambda本身就很慢,我可以通过定义一个函数并使用它来代替lambda来优化一点。

不过,我觉得我会重新发明轮子。必须有某个内置函数或某个import能模块提供__getitem__的功能(这是我不想使用的唯一原因,它不是真正的pythonic使用损坏的方法)。

我知道operator.getitem让我预定义索引i并在任何输入序列中获取i处的元素。但是有一个函数(比如foo)如下工作:

In [14]: g = operator.itemgetter(1)

In [15]: d = {'a':1, 'b':2, 'c':3, 'd':4}

In [16]: for i in d.iteritems():
   ....:     print g(i),
   ....:     
1 3 2 4

In [17]: L = list('abcd')

In [18]: g = foo(L)

In [19]: for i in range(4):
   ....:     print g(i),
   ....:     
'a' 'b' 'c' 'd'

很抱歉,如果这是一个重复的问题,但我能想到的搜索词并没有产生结果。

1 个答案:

答案 0 :(得分:2)

如果我理解了你想要的东西,那么下面会这样做:

import functools
import operator

L = list('abcd')

def foo(indexable):
    return functools.partial(operator.__getitem__, indexable)

g = foo(L)

for i in xrange(len(L)):
    print g(i),

更新

我进行了进一步的实验,并惊讶地发现了一个稍微快一点的解决方案,除此之外别无其他:

def foo2(indexable):
    return indexable.__getitem__

当我使用一个小试验台运行时,我把它放在一起,产生了以下结果:

fastest to slowest *_test() function timings:
 10,000 elements, 1,000 timeit calls, best of 3

  foo2_test() : 1.46 (0.00 times slower)
lambda_test() : 4.15 (1.84 times slower)
   foo_test() : 4.28 (1.93 times slower)

使用的每个测试函数都使用不同的技术在紧密循环中访问列表的每个元素。

对于如何应用于您对链接问题的排序回答感到好奇,我使用它来获取这些不同的结果来排序列表而不是仅仅访问每个列表的元素一次:

fastest to slowest *_test() function timings:
 10,000 elements, 1,000 timeit calls, best of 3

  foo2_test() : 13.03 (0.00 times slower)
   foo_test() : 14.70 (0.13 times slower)
lambda_test() : 16.25 (0.25 times slower)

尽管foo2()是最快的,但在这两种情况下,在排序版本中它只是非常少量。

以下是用于获取第一组简单访问结果的完整测试平台列表:

import functools
import operator

import timeit
import types

N = 1000
R = 3
SZ = 10000
SUFFIX = '_test'
SUFFIX_LEN = len(SUFFIX)

def setup():
    import random
    global a_list
    a_list = [random.randrange(100) for _ in xrange(SZ)]

def lambda_test():
    global a_list
    f = lambda i: a_list[i]
    for i in xrange(len(a_list)): f(i)

def foo(indexable):
    return functools.partial(operator.__getitem__, indexable)

def foo_test():
    global a_list
    g = foo(a_list)
    for i in xrange(len(a_list)): g(i)

def foo2(indexable):
    return indexable.__getitem__

def foo2_test():
    global a_list
    g = foo2(a_list)
    for i in xrange(len(a_list)): g(i)

# find all the functions named *SUFFIX in the global namespace
funcs = tuple(value for id,value in globals().items()
            if id.endswith(SUFFIX) and type(value) is types.FunctionType)

# run the timing tests and collect results
timings = [(f.func_name[:-SUFFIX_LEN],
            min(timeit.repeat(f, setup=setup, repeat=R, number=N))
           ) for f in funcs]
timings.sort(key=lambda x: x[1])  # sort by speed (ironic use of lambda?)
fastest = timings[0][1]  # time fastest one took to run
longest = max(len(t[0]) for t in timings) # len of longest func name (w/o suffix)

print 'fastest to slowest *_test() function timings:\n' \
      ' {:,d} elements, {:,d} timeit calls, best of {:d}\n'.format(SZ, N, R)

def times_slower(speed, fastest):
    return speed/fastest - 1.0

for i in timings:
    print "{0:>{width}}{suffix}() : {1:.2f} ({2:.2f} times slower)".format(
                i[0], i[1], times_slower(i[1], fastest), width=longest, suffix=SUFFIX)

以下是测试排序用法时不同的部分:

def setup():
    import random
    global a_list
    a_list = [random.randrange(100) for _ in xrange(SZ)]

def lambda_test():
    global a_list
    sorted(range(len(a_list)), key=lambda i:a_list[i])

def foo(indexable):
    return functools.partial(operator.__getitem__, indexable)

def foo_test():
    global a_list
    sorted(range(len(a_list)), key=foo(a_list))

def foo2(indexable):
    return indexable.__getitem__

def foo2_test():
    global a_list
    sorted(range(len(a_list)), key=foo2(a_list))