将带有回调的Python函数转换为可等待的异步

时间:2019-01-01 06:00:11

标签: python python-3.x asynchronous python-asyncio pyaudio

我想在异步上下文中使用PyAudio库,但是该库的主要入口只有一个基于回调的API:

    import pyaudio

    def callback(in_data, frame_count, time_info, status):
        # Do something with data

    pa = pyaudio.PyAudio()
    self.stream = self.pa.open(
        stream_callback=callback
    )

我希望如何使用它是这样的:

pa = SOME_ASYNC_COROUTINE()
async def listen():
    async for block in pa:
        # Do something with block

问题是,我不确定如何将该回调语法转换为在触发回调时完成的将来。在JavaScript中,我会使用promise.promisify(),但Python似乎没有这样的东西。

2 个答案:

答案 0 :(得分:5)

在此用例中,等效的promisify不起作用有两个原因:

  • PyAudio的异步API不使用asyncio事件循环-文档指定了从后台线程调用回调。这需要采取预防措施,才能与asyncio正确通信。
  • 回调不能被单个Future建模,因为它被多次调用,而Future只能有一个结果。相反,必须将其转换为异步迭代器,如示例代码所示。

这是一种可能的实现方式:

async def make_iter():
    loop = asyncio.get_event_loop()
    queue = asyncio.Queue()
    def put(*args):
        loop.call_soon_threadsafe(queue.put_nowait, args)
    async def get():
        while True:
            yield queue.get()
    return get(), put

make_iter返回的<异步迭代器,回叫>。返回的对象具有调用回调导致迭代器产生其下一个值(传递给回调的参数)的属性。可以从任意线程调用回调,因此可以安全地传递到pyaudio.open,而异步迭代器应在异步协程中提供给async for,在等待该协程时它将被挂起下一个值:

async def main():
    stream_get, stream_put = make_iter()
    stream = pa.open(stream_callback=stream_put)
    stream.start_stream()
    async for in_data, frame_count, time_info, status in stream_get:
        # ...

asyncio.get_event_loop().run_until_complete(main())

请注意,根据documentation,回调还必须返回有意义的值,帧的元组和布尔值标志。可以通过更改fill函数将其合并到设计中,以也从异步端接收数据。不包括该实现,因为如果不了解该域,它可能就没有多大意义。

答案 1 :(得分:1)

您可能要使用Future

  

class asyncio.Future(*,loop = None)¶

     

Future表示异步操作的最终结果。不是线程安全的。

     

未来是一个可以等待的对象。协程可以等待Future对象,直到它们具有结果或异常集,或者直到它们被取消为止。

     

通常,期货用于启用基于低级回调的代码(例如,在使用asyncio传输实现的协议中)以与高级async / await代码互操作。

     

经验法则是从不公开面向用户的API中的Future对象,建议的创建Future对象的方法是调用loop.create_future()。这样,备用事件循环实现可以注入自己对Future对象的优化实现。

一个愚蠢的例子:

def my_func(loop):
    fut = loop.create_future()
    pa.open(
        stream_callback=lambda *a, **kw: fut.set_result([a, kw])
    )
    return fut


async def main(loop):
    result = await my_func(loop)  # returns a list with args and kwargs 

我假设pa.open在线程或子进程中运行。如果没有,您可能还需要用asyncio.loop.run_in_executor

来结束对open的调用