Question

python中有heapq，用于一般用法。我希望记录topN（0~20）的10e7记录。

如果使用heapq，应使用' - '将max转换为min;并记录最小数量的底部，以调用heapq.heappushpop（）

我应该使用heapq还是自己实现堆（可能是错误或效率较低）？

#update

import heapq
class TopN(object):
    """
    v format: (num, value)

    after looking into http://hg.python.org/cpython/file/2.7/Lib/heapq.py, 
    i find heappushpop already optimize, no need bottom value

    feed() can be optimize further, if needed:
        using func object instead of compare len(self.h) each time
    """
    def __init__(self, N):
        self.N = N
        self.h = []        

    def feed(self, v):  
        if len(self.h) < self.N:
            heapq.heappush(self.h, v)
        else:
            heapq.heappushpop(self.h, v)

    def result(self):
        self.h.sort(reverse=True)
        return self.h

def t_topn():
    topn = TopN(10)
    for i in xrange(5):
        topn.feed((i, str(i)))
    res = topn.result()    
    assert sorted(res, reverse=True) == res 

def t_topn_random():
    import random
    topn = TopN(10)
    for i in xrange(100):
        x = random.randint(0, 1e4)
        topn.feed((x, str(x)))
    res = topn.result()    
    assert sorted(res, reverse=True) == res 

if __name__ == '__main__':
    t_topn()
    t_topn_random()

Answer 1

heapq的唯一问题是它不像stdlib中的其他所有功能一样提供key函数。（如果你好奇为什么，Raymond Hettinger在this email中解释。他是正确的heapq无法提供与其他排序功能相同的界面 - 但原因不会影响你的用例，其中key只是lambda x: -x。）

通常的解决方法是decorate-heap-undecorate。也就是说，将值的修改版本放入按key排序的堆中。通常，这意味着以下之一：

存储key(x)而不是x，然后访问unkey(value)而不是value（假设key是可逆的）。
存储(key(x), x)而不是x，然后访问value[1]。（这可能会破坏稳定性，但heapq无法保证稳定性。）
编写一个实现自定义__le__方法的包装类，然后存储Wrapper(x)而不是x并访问value.value而不是value。

在您的情况下，关键功能是可逆的。因此，只需存储-x，然后访问-value即可。这和装饰一样微不足道。

尽管如此，不管它有多简单，你都应该写一个包装器，否则你会在某些时候搞砸它。例如，您可以编写一个maxheap来包裹heapq中的minheap，如下所示：

import heapq
def heapify(x):
    for i in range(len(x)):
        x[i] = -x[i]
    heapq.heapify(x)
def heappush(heap, item):
    heapq.heappush(heap, -item)
def heappop(heap):
    return -heapq.heappop(heap)

...等等您需要的任何其他功能。这可能有点痛苦，但是比从头开始实施整个事情要少得多。

当你遇到它时，你可能希望将堆包装在面向对象的API中，这样你就可以heap.push(x)而不是heapq.heappush(heap, x)等。

import heapq
class MaxHeap(object):
    def __init__(self, x):
        self.heap = [-e for e in x]
        heapq.heapify(self.heap)
    def push(self, value):
        heapq.heappush(self.heap, -value)
    def pop(self):
        return -heapq.heappop(self.heap)

...

如果您快速浏览一下ActiveState的配方或PyPI上的模块，您会发现其他人已经为您完成了大部分工作。

或者，您可以将heapq源代码（它是纯Python）复制并粘贴为maxheapq.py，然后将cmp_lt函数替换为其相反的代码。（当然，如果你这样做，那么修改cmp_lt首先采用key参数并修改所有其他函数可能同样容易，当然也更清楚一些。通过key通过注意，它将不再适用，因为它不能保证key只被调用一次。）

如果你真的想要危险地生活（你不应该），你甚至可以单打它：

import heapq
def cmp_gt(x, y):
    return y < x if hasattr(y, '__lt__') else not (x <= y)
heapq.cmp_lt = cmp_gt

但你不想在实际代码中这样做。

python topN max heap，使用heapq还是自己实现？

1 个答案: