如何在另一个asyncio循环中使用asyncio循环

时间:2018-02-19 16:33:57

标签: python python-3.x asynchronous python-asyncio

我一直在尝试各种各样的事情,以便能够在另一个asyncio循环中使用asyncio循环。大部分时间我的测试都以错误结束,例如:

  

RuntimeError:此事件循环已在运行

下面的示例代码只是我开始的基础测试,因此您可以看到我尝试做的基础知识。在这次测试之后我尝试了很多东西,这太混乱了,所以我想在寻求帮助时我应该保持简单。如果有人能指出我正确的方向,那将是伟大的。谢谢你的时间!

import asyncio

async def fetch(data):
    message = 'Hey {}!'.format(data)
    other_data = ['image_a.com', 'image_b.com', 'image_c.com']
    images = sub_run(other_data)
    return {'message' : message, 'images' : images}

async def bound(sem, data):
    async with sem:
        r = await fetch(data)
        return r

async def build(dataset):
    tasks = []
    sem = asyncio.Semaphore(400)

    for data in dataset:
        task = asyncio.ensure_future(bound(sem, data))
        tasks.append(task)

    r = await asyncio.gather(*tasks)
    return r

def run(dataset):
    loop = asyncio.get_event_loop()
    future = asyncio.ensure_future(build(dataset))
    responses = loop.run_until_complete(future)
    loop.close()
    return responses

async def sub_fetch(data):
    image = 'https://{}'.format(data)
    return image

async def sub_bound(sem, data):
    async with sem:
        r = await sub_fetch(data)
        return r

async def sub_build(dataset):
    tasks = []
    sem = asyncio.Semaphore(400)

    for data in dataset:
        task = asyncio.ensure_future(sub_bound(sem, data))
        tasks.append(task)

    r = await asyncio.gather(*tasks)
    return r

def sub_run(dataset):
    loop = asyncio.get_event_loop()
    future = asyncio.ensure_future(sub_build(dataset))
    responses = loop.run_until_complete(future)
    loop.close()
    return responses

if __name__ == '__main__':
    dataset = ['Joe', 'Bob', 'Zoe', 'Howard']
    responses = run(dataset)
    print (responses)

1 个答案:

答案 0 :(得分:8)

在正在运行的事件循环中运行loop.run_until_compete会阻止外部循环,从而无法使用asyncio。因此,asyncio事件循环不是递归的,并且不应该递归地运行它们。而不是创建内部事件循环,await现有的任务。

在您的情况下,请删除sub_run并简单地替换其用法:

images = sub_run(other_data)

使用:

images = await sub_build(other_data)

它可以正常工作,运行子协同程序,而不是继续使用外部协程,直到内部协程完成,正如您可能从同步代码中所预期的那样。