如何从已经在循环中运行的“阻塞函数”向协程中添加协程/任务

时间:2015-07-22 04:14:39

标签: python python-asyncio

希望下面的代码解释我想要做的比问题标题更好。

import asyncio
import time

loop = asyncio.get_event_loop()

class Foo(object):
    def __init__(self, num):
        self.num = num
    @property
    def number(self):
        # Somehow need to run get_number() in the loop.
        number = self.get_number()
        return number
    @asyncio.coroutine
    def get_number(self):
        yield from loop.run_in_executor(None, time.sleep, self.num)
        return self.num


@asyncio.coroutine
def runner(num):
    print("getting Foo({})".format(num))
    foo = Foo(num)
    yield from asyncio.sleep(1)
    print("accessing number property of Foo({})".format(num))
    number = foo.number
    print("Foo({}) number is {}".format(num, number))


tasks = [
    asyncio.async(runner(3)),
    asyncio.async(runner(1)),
    ]
go = loop.run_until_complete(asyncio.wait(tasks))

我无法弄清楚评论所在的number函数要做什么。我已经尝试了各种各样的东西,但实际上我只是“在墙上扔了****并希望有些东西粘住”。

这是this question的后续行动。我想在不执行yield from的情况下访问该属性,因为我需要从模板(例如mako)访问该属性,并且在任何地方写yield from都不理想(考虑到mako,可能甚至不可能)可能会阻止)。在一个完美的世界里,我会用reify decorator运行所有这些。

如果我想使用yield from,代码会非常简单。

class Foo(object):
    def __init__(self, num):
        self.num = num
    @property
    @asyncio.coroutine
    def number(self):
        yield from loop.run_in_executor(None, time.sleep, self.num)
        return self.num


@asyncio.coroutine
def runner(num):
    print("getting Foo({})".format(num))
    foo = Foo(num)
    yield from asyncio.sleep(1)
    print("accessing number property of Foo({})".format(num))
    number = yield from foo.number
    print("Foo({}) number is {}".format(num, number))

#getting Foo(3)
#getting Foo(1)
#accessing number property of Foo(3)
#accessing number property of Foo(1)
#Foo(1) number is 1
#Foo(3) number is 3

我在主题上找到了this answer,但我看不出添加完成的回调如何与我的工作流程一起使用。

2 个答案:

答案 0 :(得分:1)

你要求的是不可能的,因为当你在主线程中(你想要在没有收益的情况下调用foo.number时),你需要明确地将控制权交给主循环。这正是{ {1}}确实。

如果没有它,你需要在一个能够阻止(没有收益)的单独线程中运行调用foo.number 的函数并等待yield from的结果不阻塞主循环

答案 1 :(得分:0)

从阻止函数而不是计算值,您将返回asyncio.Future

return loop.create_task(self.get_number())

当你在异步runner中得到这个时,你可以等待这样的结果:

number = await foo.number

完整的测试用例:

def test_future():
    loop = asyncio.get_event_loop()

    async def target(x: int) -> int:
        loop.run_in_executor(None, time.sleep, 0.1)
        return x + 1

    def intermediate(x: int) -> asyncio.Future:
        return loop.create_task(target(x))

    async def main():
        future = intermediate(5)
        logger.debug('intermediate future = %r', future)
        value = await future
        assert value == 6

    try:
        loop.create_task(main())
        loop.call_later(0.5, loop.stop)
        loop.run_forever()
    finally:
        loop.close()