检测空闲的asyncio事件循环

时间:2017-11-18 17:54:53

标签: python-asyncio

是否有一些编程模式可以让我在以下意义上检测asyncio事件循环何时变为空闲?假设我的执行路径以某种复杂的方式分支,比如使用asyncio.gather(),但我知道每个分支最终都会等待一些空闲协程,例如套接字或子进程。说我知道这些协同程序实际上永远不会产生,所以事件循环将执行它可以执行的任何python代码,但最终将等待那些空闲的协同程序。是否有一种编程方式来检测这种状态并停止循环?

1 个答案:

答案 0 :(得分:2)

你叫什么"闲置"可能更准确地描述为"等待IO或超时"。在正确编写的asyncio代码中,不应该检测到循环处于该状态,因为它不应该重要 - 循环正在完成它的工作,它取决于asyncio.gatherasyncio.waitloop.run_until_complete等工具可确保其在适当的时间结束。然而,事情并不总是完美的,如果你真的想这样做,那肯定是可能的。

在事件循环的每一步,它都会检查准备运行的任务。如果有,则调用它们的步骤。一旦没有更多任务准备就绪,事件循环将等待IO事件或最快的超时,以先发生者为准。需要注意的重要一点是,运行任务始终优先于等待IO。因此,要检测没有任何任务准备就绪的情况,可以安排一个已知可立即触发的虚拟IO事件。

以下协同程序设置此类事件并等待它触发:

import socket, asyncio

async def detect_iowait():
    loop = asyncio.get_event_loop()
    rsock, wsock = socket.socketpair()
    wsock.close()
    await loop.sock_recv(rsock, 1)
    rsock.close()

它设置一个socket pair,其中从一个套接字读取返回写入另一个套接字的数据。它立即关闭其中一个套接字,以便从另一个套接字读取立即返回EOF,表示为空的bytearray。等待从该套接字读取基本上是非阻塞的 - 但是asyncio并不知道,所以它将套接字放在IO等待列表中。如上所述,只要没有可运行的任务,asyncio就会等待IO,detect_iowait将等待套接字上的读取并退出。因此,等待detect_iowait()本身会检测IO等待。

使用detect_iowait()的测试代码可能如下所示:

# stop loop.run_forever once iowait is detected
async def stop_on_iowait():
    await detect_iowait()
    print('iowait detected, stopping!')
    asyncio.get_event_loop().stop()

# a dummy calculation coroutine, emulating your execution path
async def calc(n):
    print('calc %d start' % n)
    async def noop():
        pass
    for i in range(n):
        await noop()
    print('calc %d end' % n)

# coroutine that waits on IO forever, also (ab)using a socket pair,
# this time creating a socket whose recv will never complete
async def io_forever():
    loop = asyncio.get_event_loop()
    sock, _ = socket.socketpair()
    sock.setblocking(False)
    await loop.sock_recv(sock, 1)

loop = asyncio.get_event_loop()
for t in calc(1000), calc(10000), calc(100000), io_forever():
    loop.create_task(t)
loop.create_task(stop_on_iowait())
loop.run_forever()