map()和imap()如何在gevent.pool.Pool中工作?

时间:2013-12-06 14:56:19

标签: python gevent

我写了一个脚本来了解gevent.pool.Pool,但我看到了一个奇怪的电话。

在我的代码中,我有三个不同的代码段,名为版本1 版本2 版本3

  • 在评论版本2 版本3 时,即仅使用版本1中的 imap()方法,那就什么都没发生了。
  • 在评论版本1 版本3 时,即仅使用版本2中的 map()方法,然后我发现第一个 map()方法创建了两个greenlet,然后执行了两个greenlet。在完成这两个greenle之后,第二个 map()方法执行相同的操作。
  • 在评论版本1 版本2 时,即首先使用 imap()方法,然后使用 map() 版本3 中的方法,我发现在执行 map()方法之前,会创建并执行五个greenlet。

所以我有两个问题:

  • 为什么 map()方法触发执行而 imap()不是?
  • 为什么 map()触发执行后Pool实例的长度为非零?

我已经阅读了gevent-1.0中 pool.py 的源代码,但我不明白源代码如何将绿色小滴添加到变量 self.greenlets 以及 map() imap()之间的区别。在我的选项中, imap()只返回一个可迭代对象, map()返回由 imap()生成的greenlet列表。

以下是gevent的 pool.py map() imap()的源代码:

def map(self, func, iterable):
    return list(self.imap(func, iterable))

def imap(self, func, iterable):
    """An equivalent of itertools.imap()"""
    return IMap.spawn(func, iterable, spawn=self.spawn)

这是我的测试代码:

#!/usr/bin/env python2.7
#coding: utf-8

import gevent
from gevent.pool import Pool
from gevent.coros import BoundedSemaphore


class TestSemaphore(object):

    def __init__(self):
        self.sem = BoundedSemaphore(1)
        self.pool = Pool()

    def run(self):
        # version 1 
        self.pool.imap(self._worker, xrange(0, 2))
        self.pool.imap(self._worker, xrange(3, 6))
        # end of version 1

        # version 2
        # self.pool.map(self._worker, xrange(0, 2))
        # self.pool.map(self._worker, xrange(3, 6))
        # end of version 2

        # version 3
        # self.pool.imap(self._worker, xrange(0, 2))
        # self.pool.map(self._worker, xrange(3, 6))
        # end of version 3

    def _worker(self, pid):
        with self.sem:
            print('worker %d acquired semaphore, length of pool is %d' % (pid, len(self.pool)))
            gevent.sleep(0)
        print('worker %d released semaphore, length of pool is %d' % (pid, len(self.pool))) 

if __name__ == '__main__':
    test = TestSemaphore()
    test.run()

1 个答案:

答案 0 :(得分:5)

需要注意的关键是imap lazy - 在您实际使用生成的迭代器之前它不会做任何工作:

>>> map(lamda x: x, xrange(0, 2))
[0, 1]

>>> from itertools import imap
>>> imap(lamda x: x, xrange(0, 2))
<generator object at 0xsome-address>

# Consume the resulting iterator
>>> list(imap(lamda x: x, xrange(0, 2)))
[0, 1]
imap中的{p> multiprocessinggevent符合相同的规则。