如何使用for循环而不是while循环遍历Python Queue.Queue?

时间:2014-01-16 09:20:29

标签: python

通常我们这样编码:

while True:
    job = queue.get()
    ...

但是也可以按照以下方式做点什么:

for job in queue.get():
    #do stuff to job

我想要这样做的真正原因是因为我想使用python-progressbar的自动检测maxval。他们这样做for this in progressbar(that):

4 个答案:

答案 0 :(得分:37)

您可以将iter与callable一起使用。 (你应该传递两个参数,一个用于可调用,另一个用于sentinel值)

for job in iter(queue.get, None): # Replace `None` as you need.
    # do stuff with job

注意当没有元素保留且没有放置标记值时,这将阻止。此外,与while - get循环类似,与容器上的普通for循环不同,它会从队列中删除项目。

更新None是常用值,因此这里是一个具有更具体的标记值的示例:

sentinel = object()
for job in iter(queue.get, sentinel):
    # do stuff with job

答案 1 :(得分:8)

对于那种队列实际上我通常不会使用queue.empty()的这种检查,因为我总是在线程上下文中使用它,因此无法知道另一个线程是否会在几毫秒内放入某些内容(因此检查无论如何都是无用的)。我从不检查队列是否为空。我宁愿使用标记生产者结尾的sentinel值。

所以使用iter(queue.get, Sentinel)更像我喜欢的。

如果您知道没有其他线程将物品放入队列中,并且只想将其从当前所有包含的物品中排出,那么您可以使用这样的话:

class Drainer(object):
  def __init__(self, q):
    self.q = q
  def __iter__(self):
    while True:
      try:
        yield self.q.get_nowait()
      except queue.Empty:  # on python 2 use Queue.Empty
        break

for item in Drainer(q):
  print(item)

def drain(q):
  while True:
    try:
      yield q.get_nowait()
    except queue.Empty:  # on python 2 use Queue.Empty
      break

for item in drain(q):
  print(item)

答案 2 :(得分:5)

我的第一个是iter函数,但是内置队列模块没有返回一个sentinel,所以一个很好的选择可能是定义你自己的包装类:

import Queue

class IterableQueue():
    def __init__(self,source_queue):
            self.source_queue = source_queue
    def __iter__(self):
        while True:
            try:
               yield self.source_queue.get_nowait()
            except Queue.Empty:
               return

这个迭代器包装队列并产生,直到队列为空,然后返回,所以现在你可以这样做:

q = Queue.Queue()
q.put(1)
q.put(2)
q.put(3)

for n in IterableQueue(q):
    print(n)

输出:

1
2
3

如果有人知道使用内置函数更好的话,这个方法有点冗长。

答案 3 :(得分:1)

我会说这是在某些点上遍历队列的简单方法:

remote: Weak credentials. Please Update your password to continue using GitHub.
remote: See https://help.github.com/articles/creating-a-strong-password/.