将单词列表转换为频率字典的最佳方法

时间:2009-04-06 18:55:12

标签: python

将列表/元组转换为dict的最佳方法是什么,其中键是列表的不同值,值是这些不同值的频率?

换句话说:

['a', 'b', 'b', 'a', 'b', 'c']
--> 
{'a': 2, 'b': 3, 'c': 1}

(我必须多次执行上述操作,标准库中是否有适合您的操作?)

编辑:

Jacob Gabrielson指出2.7 / 3.1分支有something coming in the standard lib

8 个答案:

答案 0 :(得分:29)

我发现最容易理解(虽然可能不是最有效)的方法是:

{i:words.count(i) for i in set(words)}

答案 1 :(得分:20)

有点

from collections import defaultdict
fq= defaultdict( int )
for w in words:
    fq[w] += 1

这通常很有效。

答案 2 :(得分:9)

请注意,从Python 2.7 / 3.1开始,此功能将内置于collections模块,有关详细信息,请参阅this bug。以下是release notes

中的示例
>>> from collections import Counter
>>> c=Counter()
>>> for letter in 'here is a sample of english text':
...   c[letter] += 1
...
>>> c
Counter({' ': 6, 'e': 5, 's': 3, 'a': 2, 'i': 2, 'h': 2,
'l': 2, 't': 2, 'g': 1, 'f': 1, 'm': 1, 'o': 1, 'n': 1,
'p': 1, 'r': 1, 'x': 1})
>>> c['e']
5
>>> c['z']
0

答案 3 :(得分:2)

这是令人厌恶的,但是:

from itertools import groupby
dict((k, len(list(xs))) for k, xs in groupby(sorted(items)))

我想不出有人会选择这种方法而不是S.Lott的原因,但是如果有人要指出它,那也可能是我。 :)

答案 4 :(得分:2)

实际上,已经提到了Counter的答案,但我们甚至可以做得更好(更简单)!

from collections import Counter
my_list = ['a', 'b', 'b', 'a', 'b', 'c']
Counter(my_list)  # returns a Counter, dict-like object
>> Counter({'b': 3, 'a': 2, 'c': 1})

答案 5 :(得分:1)

我必须分享一种有趣但又有点荒谬的做法,我刚想出来:

>>> class myfreq(dict):
...     def __init__(self, arr):
...         for k in arr:
...             self[k] = 1
...     def __setitem__(self, k, v):
...         dict.__setitem__(self, k, self.get(k, 0) + v)
... 
>>> myfreq(['a', 'b', 'b', 'a', 'b', 'c'])
{'a': 2, 'c': 1, 'b': 3}

答案 6 :(得分:1)

我决定继续测试建议的版本,我发现Jacob Gabrielson建议的collections.Counter是最快的,然后是SLott的defaultdict版本。

以下是我的代码:     来自集合import defaultdict     来自馆藏进口柜台

import random

# using default dict
def counter_default_dict(list):
    count=defaultdict(int)
    for i in list:
        count[i]+=1
    return count

# using normal dict
def counter_dict(list):
    count={}
    for i in list:
        count.update({i:count.get(i,0)+1})
    return count

# using count and dict
def counter_count(list):
    count={i:list.count(i) for i in set(list)}
    return count

# using count and dict
def counter_counter(list):
    count = Counter(list)
    return count

list=sorted([random.randint(0,250) for i in range(300)])


if __name__=='__main__':
    from timeit import timeit
    print("collections.Defaultdict ",timeit("counter_default_dict(list)", setup="from __main__ import counter_default_dict,list", number=1000))
    print("Dict",timeit("counter_dict(list)",setup="from __main__ import counter_dict,list",number=1000))
    print("list.count ",timeit("counter_count(list)", setup="from __main__ import counter_count,list", number=1000))
    print("collections.Counter.count "timeit("counter_counter(list)", setup="from __main__ import counter_counter,list", number=1000))

我的结果:

collections.Defaultdict 
0.06787874956330614
Dict
 0.15979115872995675
list.count 
 1.199258431219126
collections.Counter.count
 0.025896202538920665

请告诉我如何改进分析。

答案 7 :(得分:0)

我认为使用集合库是最简单的方法。但是,如果您想不使用频率字典而使用它,那是另一种方式,

l = [1,4,2,1,2,6,8,2,2]
d ={}
for i in l:
    if i in d.keys():
        d[i] = 1 + d[i]
    else:
        d[i] = 1
print (d)

op:

{1: 2, 4: 1, 2: 4, 6: 1, 8: 1}