阻止jupyter笔记本单元执行直到收到特定消息

时间:2017-10-10 13:13:22

标签: python rabbitmq jupyter-notebook python-asyncio pika

我正在尝试为python实现异步的分布式计算引擎,它与jupyter notebook兼容。该系统应该基于“推送通知”方法,这使得(几乎,我希望)不可能允许用户等待特定的计算结果(即,给定笔记本单元的块执行直到具有预期结果的消息被传送)。确切地说,我正试图:

  1. 向jupyter notebook事件循环添加新任务(该任务定期检查特定msg是否在while循环中到达,在msg到达时中断)
  2. 阻止当前单元格等待任务完成。
  3. 仍然可以处理传入的消息(使用RabbitMQ,Pika,来自http://pika.readthedocs.io/en/0.10.0/examples/asynchronous_consumer_example.html的略微修改的代码)
  4. 我准备好了解决我的问题的笔记本:https://github.com/SLEEP-MAN/RabbitMQ_jupyterNotebook_asyncio

    有什么想法吗?是否有可能(可能是一些IPython / IpyKernel魔法;>?),或者我必须将我的方法改变180度?

1 个答案:

答案 0 :(得分:0)

您的问题是您将两个不同的循环混合在一起。这就是它没有用的原因。你需要做一些改变。

使用AsyncioConnection代替TornadoConnection

    return adapters.AsyncioConnection(pika.URLParameters(self._url),
                                      self.on_connection_open)

接下来你需要删除下面的行

self._connection.ioloop.start() #throws exception but not a problem...

因为你的循环已经在connect中启动了。然后你需要使用下面的代码来等待

loop = asyncio.get_event_loop()
loop.run_until_complete(wait_for_eval())

现在可行了

AsyncIO waiting