Question

我有一些多处理代码，如下所示。当我开始这项工作时，一切都很好，我看到我的队列大小迅速减少。然后慢一点。然后它根本没有取得任何进展。但我仍然可以看到12个python进程在运行。

我怀疑big_hairy_routine正在发生一些错误，并且进程正在逐渐消失。但是，如何查看async_result结构以查看底层池进程的状态？

（这也可能是我在这里使用了错误的习语。）

import traceback
import multiprocessing
from Queue import Empty

def do_something(q):
    item = q.get_nowait()
    while item:
        try:
           big_hairy_routine(item)
        except Exception, e:
            traceback.print_exc()
            sys.exit(1)

        try:
            item = q.get_nowait()
        except Empty:
            item = None

manager = multiprocessing.Manager()
q = manager.Queue()
pool = multiprocessing.Pool(processes=10)


for item in (1,2,3,4,5):
    q.put(item)

async_result = pool.apply_asnc(do_something, (q,))

while q.qsize > 0:
    print "there are %s items in queue" % q.qsize()
    if async_result.ready():
        print "we're done!"
        break
    time.sleep(30)

如何在多处理池中“查看”？

0 个答案: