Question

我想将异步处理和多处理结合起来，因为我有一个任务是io绑定的，另一个是cpu绑定的。我首先尝试使用loop.run_in_executor（），但可能无法正常工作。相反，我创建了两个进程，其中一个使用asyncio，另一个不使用。

代码是这样的，我有一个带有一些非阻塞函数和一个阻塞的类。我有一个asyncio.Queue在非阻塞部分之间传递信息，而multiprocessing.Queue在非阻塞和阻塞函数之间传递信息。

import multiprocessing as mp
from concurrent.futures import ProcessPoolExecutor
import asyncio
import time


class TestClass:
    def __init__(self):
        m = mp.Manager()
        self.blocking_queue = m.Queue()

    async def run(self):
        loop = asyncio.get_event_loop()
        self.non_blocking_queue = asyncio.Queue() # asyncio Queue must be declared within event loop
        task1 = loop.create_task(self.non_blocking1())
        task2 = loop.create_task(self.non_blocking2())
        task3 = loop.create_task(self.print_msgs())
        await asyncio.gather(task1, task2)
        task3.cancel()

    def blocking(self):
        i = 0
        while i < 5:
            time.sleep(0.6)
            i += 1
            print("Blocking ", i)
            line = self.blocking_queue.get()
            print("Blocking: ", line)
        print("blocking done")

    async def non_blocking1(self):
        for i in range(5):
            await self.non_blocking_queue.put("Hello")
            await asyncio.sleep(0.4)

    async def non_blocking2(self):
        for i in range(5):
            await self.non_blocking_queue.put("World")
            await asyncio.sleep(0.5)

    async def print_msgs(self):
        while True:
            line = await self.non_blocking_queue.get()
            self.blocking_queue.put(line)
            print(line)


test_class = TestClass()
with ProcessPoolExecutor() as pool:
    pool.submit(test_class.blocking)
    pool.submit(asyncio.run(test_class.run()))
print("done")

运行此命令的时间大约有一半，它可以正常工作并在阻塞队列和非阻塞队列中打印出文本。另一半只打印出非阻塞队列的结果。似乎完全没有启动阻止过程。因此不是每隔一次。它可能连续工作五次，然后又不能连续工作五次。

什么可能导致此类问题？可以同时使用多处理和异步，哪种更好的方法呢？

Answer 1

在另一个进程“内部”运行异步任务对我有用，例如：

def runfn(fn):
    return asyncio.run(fn())

with ProcessPoolExecutor() as pool:
    pool.submit(test_class.blocking)
    pool.submit(runfn, test_class.run)

大概asyncio中存在某种状态，该任务在其他进程中运行时需要保持一致或损坏

Python-将多重处理与asyncio结合仅在某些情况下有效

1 个答案: