Python - 我的频率函数效率低下

时间:2016-06-04 10:33:36

标签: python performance python-3.x frequency coding-efficiency

我正在编写一个函数,该函数返回单词列表中出现次数最多的单词的出现次数。

def max_frequency(words):
    """Returns the number of times appeared of the word that
    appeared the most in a list of words."""

    words_set = set(words)
    words_list = words
    word_dict = {}

    for i in words_set:
        count = []
        for j in words_list:
            if i == j:
                count.append(1)
        word_dict[i] = len(count)

    result_num = 0
    for _, value in word_dict.items():
        if value > result_num:
            result_num = value
    return result_num

例如:

words = ["Happy", "Happy", "Happy", "Duck", "Duck"]
answer = max_frequency(words)
print(answer)

3

但是当处理列表中的大量单词时,此功能很慢,例如,250,000个单词的列表需要4分钟才能显示此函数的输出。所以我正在寻求帮助来调整它。

我不想进口任何东西。

4 个答案:

答案 0 :(得分:3)

为了防止列表中的每个唯一单词多次传递,您可以简单地迭代一次并更新每个计数的字典值。

counts = {}
for word in words:
    counts[word] = counts.get(word, 0) + 1

<强>输出

>>> print(max(counts.values()))
3

话虽这么说,使用defaultdict代替get或使用collections.Counter可以做得更好......限制自己在Python中没有导入永远不是一个好主意如果你有选择。

例如,使用collections.Counter

from collections import Counter
counter = Counter(words)
most_common = counter.most_common(1)

答案 1 :(得分:0)

虽然我完全同意与您的相关的评论,但我不想导入任何语句,但我发现您的问题很有趣,所以让我们试一试。

您无需构建set。直接使用words

words = words = ["Happy", "Happy", "Happy", "Duck", "Duck"]
words_dict = {}

for w in words:
    if w in words_dict:
        words_dict[w] += 1
    else:
        words_dict[w] = 1

result_num = max(words_dict.values())

print(result_num)
# 3

答案 2 :(得分:0)

您可以尝试使用此代码,速度提高约760%。

def max_frequency(words):
    """Returns the number of times appeared of the word that
    appeared the most in a list of words."""

    count_dict = {}
    max = 0

    for word in words:
        current_count = 0

        if word in count_dict:
            current_count = count_dict[word] = count_dict[word] + 1
        else:
            current_count = count_dict[word] = 1

        if current_count > max:
            max = current_count

    return max

答案 3 :(得分:0)

数据大小与OP的相似

让我们从单词列表开始

In [55]: print(words)
['oihwf', 'rpowthj', 'trhok', 'rtpokh', 'tqhpork', 'reaokp', 'eahopk', 'qeaopker', 'okp[qrg', 'okehtq', 'pinjjn', 'rq38na', 'aogopire', "apoe'ak", 'apfobo;444', 'jiaegro', '908qymar', 'pe9irmp4', 'p9itoijar', 'oijor8']

和随机组成这些词组成一个文本

In [56]: from random import choice
In [57]: text = ' '.join(choice(words) for _ in range(250000))

可能有不同的方法

我们可以在文字中找到文字中的字词列表(注意,wlwords非常不同...)

In [58]: wl = text.split()

从这个列表中我们想要提取一个字典,或者一个类似字典的对象,带有一些事件,我们有很多选择。

第一个选项,我们构建一个包含wl中所有不同单词的字典,我们为每个键设置值等于零,然后我们在单词列表上再做一个循环来计算出现次数< / p>

In [59]: def count0(wl):
    wd = dict(zip(wl,[0]*len(wl)))
    for w in wl: wd[w] += 1            
    return wd
   ....: 

第二个选项,我们从空字典开始,并使用允许默认值的get()方法

In [60]: def count1(wl):
    wd = dict()                   
    for w in wl: wd[w] = wd.get(w, 0)+1
    return wd
   ....: 

第三个也是最后一个选项,我们使用标准库的组件

In [61]: def count2(wl):
    from collections import Counter
    wc = Counter(wl)
    return wc
   ....: 

一种方法比其他方法更好吗?

哪个最好?你最喜欢的那个......无论如何,这里是各自的时间

In [62]: %timeit count0(wl) # start with a dict with 0 values
10 loops, best of 3: 82 ms per loop

In [63]: %timeit count1(wl) # uses .get(key, 0)
10 loops, best of 3: 92 ms per loop

In [64]: %timeit count2(wl) # uses collections.Counter
10 loops, best of 3: 43.8 ms per loop

正如预期的那样,最快的程序是使用collections.Counter的程序,但我注意到第一个选项使得TWO超过数据的速度比第二个快...我的猜测(我的意思是:猜测)是所有对新值的测试都是在实例化字典时完成的,可能在一些C代码中。