我写了一个脚本来了解gevent.pool.Pool
,但我看到了一个奇怪的电话。
在我的代码中,我有三个不同的代码段,名为版本1 ,版本2 和版本3 。
所以我有两个问题:
Pool
实例的长度为非零?我已经阅读了gevent-1.0中 pool.py 的源代码,但我不明白源代码如何将绿色小滴添加到变量 self.greenlets 以及 map()和 imap()之间的区别。在我的选项中, imap()只返回一个可迭代对象, map()返回由 imap()生成的greenlet列表。
以下是gevent的 pool.py 中 map()和 imap()的源代码:
def map(self, func, iterable):
return list(self.imap(func, iterable))
def imap(self, func, iterable):
"""An equivalent of itertools.imap()"""
return IMap.spawn(func, iterable, spawn=self.spawn)
这是我的测试代码:
#!/usr/bin/env python2.7
#coding: utf-8
import gevent
from gevent.pool import Pool
from gevent.coros import BoundedSemaphore
class TestSemaphore(object):
def __init__(self):
self.sem = BoundedSemaphore(1)
self.pool = Pool()
def run(self):
# version 1
self.pool.imap(self._worker, xrange(0, 2))
self.pool.imap(self._worker, xrange(3, 6))
# end of version 1
# version 2
# self.pool.map(self._worker, xrange(0, 2))
# self.pool.map(self._worker, xrange(3, 6))
# end of version 2
# version 3
# self.pool.imap(self._worker, xrange(0, 2))
# self.pool.map(self._worker, xrange(3, 6))
# end of version 3
def _worker(self, pid):
with self.sem:
print('worker %d acquired semaphore, length of pool is %d' % (pid, len(self.pool)))
gevent.sleep(0)
print('worker %d released semaphore, length of pool is %d' % (pid, len(self.pool)))
if __name__ == '__main__':
test = TestSemaphore()
test.run()
答案 0 :(得分:5)
需要注意的关键是imap
lazy - 在您实际使用生成的迭代器之前它不会做任何工作:
>>> map(lamda x: x, xrange(0, 2))
[0, 1]
>>> from itertools import imap
>>> imap(lamda x: x, xrange(0, 2))
<generator object at 0xsome-address>
# Consume the resulting iterator
>>> list(imap(lamda x: x, xrange(0, 2)))
[0, 1]
imap
中的{p> multiprocessing
和gevent
符合相同的规则。