Question

我有一个用协同程序实现的长期运行管道。这通常是获取日志流，执行一些丰富（线程化）并将它们写入数据存储。

这是一个模拟管道的小例子：

import time
import random
from concurrent import futures

def coroutine(func):
    def start(*args, **kwargs):
        cr = func(*args, **kwargs)
        next(cr)
        return cr
    return start

@coroutine
def foo():
    pool = futures.ThreadPoolExecutor(max_workers=10)
    while True:
        i = (yield)
        fut = pool.submit(enrich, i)
        fut.add_done_callback(result_handler)
        time.sleep(random.random()*10)

def enrich(i):
    enriched = 'foo' + str(i)
    time.sleep(random.random())
    return enriched

def source(name, target):
    while True:
        time.sleep(random.random())
        i = random.randint(0,10)
        target.send(name + str(i))

如下调用的单个管道工作正常。

source('task one ', foo())

现在，我想在后台线程中为不同的日志运行多个管道。一种尝试是再次使用ThreadPoolExecutor来驱动多个管道。

def run():
    pool = futures.ThreadPoolExecutor(max_workers=10)
    tasks = [source('task one ', foo()),
             source('task two ', foo())]
    for task in tasks:
        fut = pool.submit(task)
        fut.add_done_callback(result_handler)

但是，管道在第一个任务之后阻塞，并且永远不会执行第二个任务。在后台线程中运行如此长时间运行（可能永远）的管道的正确方法是什么？

Answer 1

因为source函数永无止境，所以不会创建tasks = [source('task one ', foo()), source('task two ', foo())]列表。这就是第一个任务运行和pipelne阻塞的原因解决方案是将source及其参数传递给pool.submit。

tasks = [(source, 'task one', foo()), (source, 'task two', foo())]
for task in tasks:
    fut = pool.submit(*task)
    fut.add_done_callback(result_handler)

如何并行运行多个阻塞IO协同程序

1 个答案: