将Dask延迟任务中的工作进度传达回客户端线程

Question

我想使用Dask delayed任务来调用一个外部程序，该程序将其进度输出到STDOUT。在delayed中，我计划监视STDOUT，并希望使用从{{1}中提取的进度信息来更新等待Client任务的delayed进程。 }}。有一种推荐的方法来使STDOUT任务与其delayed进程进行通信，还是我需要自己动手？

Answer 1

您可以使用dask提供的coordination primitives或actors中的任何一种来实现这种流程。从您的描述来看，Queue或pubsub机制似乎很受欢迎。您应该注意，所有这些通常都是低频和小容量通信的手段。