Question

我遇到的问题是我需要将使用者生成的值写入磁盘。我不想每次都打开一个新的文件实例，所以我想使用第二个队列和另一个消费者从一个Greenlet写入磁盘。我的代码的问题是第二个队列不会从第一个队列中消耗异步。第一个队列首先完成，然后第二个队列被消耗。我想同时将值写入磁盘，然后生成其他值。谢谢你的帮助！

#!/usr/bin/python
#- * -coding: utf-8 - * -
import gevent #pip install gevent
from gevent.queue import *
import gevent.monkey
from timeit import default_timer as timer
from time import sleep
import cPickle as pickle

gevent.monkey.patch_all()

def save_lineCount(count):
    with open("count.p", "wb") as f:
        pickle.dump(count, f)

def loader():
    for i in range(0,3):
        q.put(i)

def writer():
    while True:
        task = q_w.get()
        print "writing",task
        save_lineCount(task)

def worker():
    while not q.empty():
        task = q.get()
        if task%2:
            q_w.put(task)
            print "put",task
            sleep(10)

def asynchronous():
    threads = []
    threads.append(gevent.spawn(writer))
    for i in range(0, 1):
        threads.append(gevent.spawn(worker))
    start = timer()
    gevent.joinall(threads,raise_error=True)
    end = timer()
    #pbar.close()
    print "\n\nTime passed: " + str(end - start)[:6]


q = gevent.queue.Queue()
q_w = gevent.queue.Queue()
gevent.spawn(loader).join()
asynchronous()

Answer 1

一般来说，这种方法应该可行。但是，这个特定代码存在一些问题：

调用time.sleep会导致所有greenlet被阻止。您需要调用gevent.sleep或对该过程进行猴子修补，以便只有一个greenlet块（我看到gevent.monkey已导入，但patch_all未被调用）。我怀疑这是主要的问题。
写入文件也是同步的，会导致所有greenlet被阻塞。如果这是一个主要瓶颈，您可以使用FileObjectThread。

Gevent：使用两个队列与两个消费者同时不会相互阻塞

1 个答案: