这是使用Python`asyncio`协同程序的预期模式吗?

时间:2016-01-27 23:42:29

标签: python python-asyncio

我试图用Slack RTM API编写一个小的并发流处理程序,我想知道这是否是Python协程的最有效使用。 asyncio包有很多选项,但很难确定项目的正确方法是什么,我认为文档并没有很好地解释什么是优点/每个都有缺点。

我认为我不需要在这里拥有多个线程的开销,我需要在异步循环之间进行相互通信。我应该为每个函数创建一个单独的BaseEventLoop吗?

作为Python,我认为这个问题(There should be one-- and preferably only one --obvious way to do it)附近有一个附近的 -deminministic答案,但我担心添加所有这些异步错误可能只会让我代码性能低于完全顺序的天真实现。

# Is this the best way to communicate between coroutines? 
incoming_message_q = asyncio.Queue()

async def print_event():
    logging.info("Entering log loop")

    # Should this operate within it's own BaseEventLoop? 
    while True:
        event = await incoming_message_q.get()
        logging.info(event)

async def log_queue_status():
    while True:
        logging.info(incoming_message_q.qsize())
        await asyncio.sleep(5)

async def read_rtm_connection(client, q):
    if client.rtm_connect():
        logging.info("Successful Slack RTM connection")
        while True:

            # How do I make this part non-blocking?
            events = client.rtm_read()

            for event in events:
                logging.info("Putting onto the queue", event)
                if event["type"] == "presence_change":
                    await q.put(event)
                elif event["type"] == "message":
                    await q.put(event)
                else:
                    logging.info("Not sure what to do")

            await asyncio.sleep(0.1)
    else:
        logging.info("RTM connection failed.")

loop = asyncio.get_event_loop()
loop.create_task(print_event())
loop.create_task(log_queue_status())
loop.create_task(read_rtm_connection(client, incoming_message_q))
loop.run_forever()

1 个答案:

答案 0 :(得分:1)

如果您想以asyncio友好的方式与slack进行交互,那么您将需要使用非阻塞API。我不确定您目前使用的是什么,但如果它不包含任何asyncio协同程序,那么它可能不会轻易集成到asyncio中,除非您通过loop.run_in_executor在后​​台线程中运行所有阻止调用。另一种选择是将库中的所有底层阻塞I / O调用实际转换为非阻塞,这通常是一大堆工作。

好消息是至少有一个图书馆已经为你完成了这项工作; slacker-asyncio,这是slacker的分支。您应该可以使用它通过协同程序与RTM API进行交互。