Question

我有一个元组列表列表。每个元组的格式为(string,int)，例如

lst = list()
lst.append([('a',5),('c',10),('d',3),('b',1)])
lst.append([('c',14),('f',4),('b',1)])
lst.append([('d',22),('f',2)])

将int＆＃39;视为不同文本块中每个字符串的计数。

我需要做的是生成一个顶级N出现的字符串列表及其累积计数。因此，在上面的示例中，a出现了5次，b出现了两次，c出现了24次等等。如果是N=2，那么我必须生成一对并行列表['d','c']和[25,24]或元组列表[('d',25),('c',24)]。我需要尽快完成。我的机器有很多RAM，所以内存不是问题。

我有这个实现：

import numpy as np
def getTopN(lst,N):

    sOut = []
    cOut = []

    for l in lst:
        for tpl in l:
            s = tpl[0]
            c = tpl[1]

            try:
                i = sOut.index(s)
                cOut[i] += c
            except:
                sOut.append(s)
                cOut.append(c)

    sIndAsc = np.argsort(cOut).tolist()
    sIndDes = sIndAsc[::-1]
    cOutDes = [cOut[sir] for sir in sIndDes]
    sOutDes = [sOut[sir] for sir in sIndDes]

    return sOutDes[0:N],cOutDes[0:N]

必须有更好的方法，但它会是什么？

Answer 1

使用collections.Counter：

import collections
c = collections.Counter()
for x in lst:
    c.update(dict(x))
print(c.most_common(2))

输出：

[('d', 25), ('c', 24)]

Counter基本上是一个带有一些附加功能的字典，所以查找一个值并添加它的当前计数真的很快。 dict(x)只会将元组列表转换为常规字典，将字符串映射到数字，然后update Counter方法将添加这些计数（而不是仅覆盖值，作为普通的dict会这样做。

或者，使用defaultdict：

的更手动的方法

c = collections.defaultdict(int)
for x, y in (t for x in lst for t in x):
    c[x] += y
return [(k, c[k]) for k in sorted(c, key=c.get, reverse=True)][:2]

正如约翰在评论中指出的那样，defaultdict确实要快得多：

In [2]: %timeit with_counter()
10000 loops, best of 3: 17.3 µs per loop
In [3]: %timeit with_dict()
100000 loops, best of 3: 4.97 µs per loop

Answer 2

另一种选择，使用numpy：

# make a flattened numpy version of the list
lst_np = np.asarray([item for sublist in lst for item in sublist])

# split into the two columns
chars = lst_np[:,0]
counts = lst_np[:,1].astype('int')

# get unique characters, and compute total counts for each
[unique_chars, unique_inds] = np.unique(chars, return_inverse=True)
unique_counts = np.asarray([np.sum(counts[unique_inds==x])
    for x in range(len(unique_chars))])

这会让您对列表中的每个唯一字符（unique_counts）计算（unique_chars），而不仅仅是最高N。这应该非常快，但内存可能很重。

组合和排序元组列表的最快方法是什么？

2 个答案: