在不同的事件循环中竞逐两个任务

时间:2019-01-27 18:34:23

标签: python python-asyncio

我正在使用Docker SDK,并且试图将等待几秒钟后超时的任务与等待Docker容器完成的另一个任务进行竞争。实际上,我想知道给定的容器是否在我设置的超时时间内完成。

我有以下代码来做(改编自this post):

container =  # ... create container with Docker SDK
timeout =  # ... some int
killed = None

# our tasks
async def __timeout():
  await asyncio.sleep(timeout)
  return True
async def __run():
  container.wait()
  return False

# loop and runner
wait_loop = asyncio.new_event_loop()
done, pending = wait_loop.run_until_complete(
  asyncio.wait({__run(), __timeout()}, return_when=asyncio.FIRST_COMPLETED)
)

# result extraction
for task in done:
  if killed is None:
    killed = task.result()
    # ... do something with result

# clean up
for task in pending:
  task.cancel()
  with contextlib.suppress(asyncio.CancelledError):
    wait_loop.run_until_complete(task)
wait_loop.close()

不幸的是,我不断收到以下错误消息:

  File "/usr/lib/python3.5/asyncio/base_events.py", line 387, in run_until_complete
    return future.result()
  File "/usr/lib/python3.5/asyncio/futures.py", line 274, in result
    raise self._exception
  File "/usr/lib/python3.5/asyncio/tasks.py", line 241, in _step
    result = coro.throw(exc)
  File "/usr/lib/python3.5/asyncio/tasks.py", line 347, in wait
    return (yield from _wait(fs, timeout, return_when, loop))
  File "/usr/lib/python3.5/asyncio/tasks.py", line 430, in _wait
    yield from waiter
  File "/usr/lib/python3.5/asyncio/futures.py", line 361, in __iter__
    yield self  # This tells Task to wait for completion.
RuntimeError: Task <Task pending coro=<wait() running at /usr/lib/python3.5/asyncio/tasks.py:347> cb=[_run_until_complete_cb() at /usr/lib/python3.5/asyncio/base_events.py:164]> got Future <Future> pending> attached to a different loop

似乎我无法参加wait任务,因为它属于另一个循环。有什么办法可以解决此错误,以便确定哪个任务先完成?

1 个答案:

答案 0 :(得分:1)

问题很简单,每个线程中都有一个默认循环。由asyncio.set_event_loop(loop)设置。然后,您可以通过loop = asyncio.get_event_loop()来获得此循环。

因此问题是,大多数情况下,某些软件包默认情况下使用asyncio.get_event_loop()来获取当前的运行循环。以aiohttp为例:

class aiohttp.ClientSession(*, connector=None, loop=None, cookies=None, headers=None, skip_auto_headers=None, auth=None, json_serialize=json.dumps, version=aiohttp.HttpVersion11, cookie_jar=None, read_timeout=None, conn_timeout=None, timeout=sentinel, raise_for_status=False, connector_owner=True, auto_decompress=True, requote_redirect_url=False, trust_env=False, trace_configs=None)

如您所见,它接受loop参数来指定运行循环。但是您也可以将其保留为空白以默认使用asyncio.get_event_loop()

您的问题是您要在新创建的循环中启动协程。但是您不能确认所有内部操作也都在使用此新创建的操作。由于它们可能使用asyncio.get_event_loop(),因此它们将被附加到另一个循环中,这是当前线程中的默认循环。


就我而言,您实际上并不需要创建一个新的,而是让用户这样做。就像上面的示例一样,您接受参数loop,如果它是None,则使用默认值。


或者您需要仔细检查代码,以确保所有可能的协程都在使用您创建的循环。