使用dask-jobqueue和序列化来启用MPI工作负载

时间:2019-01-21 09:26:41

标签: dask-distributed

我想知道如何利用Dask进行序列化。用例是我希望Dask控制多节点任务,使节点之间通过MPI相互通信。

该实现涉及编写一个包装程序,以确保根任务是向调度程序注册的唯一任务。根从Dask获取任务,将其广播到其他节点(使用MPI),然后每个人都执行相同的代码。使用装饰器,我可以进行必要的序列化和广播,但是我想利用Dask随附的序列化而不是自己进行。

因此,简而言之,有人可以指出一个使用dask序列化程序进行序列化/反序列化的示例/实现

my_func(my_data, my_other_data, my_kwarg=foo, my_other_kwarg=bar)

我是一个敏捷的新手,我无法从源头上弄清楚。

0 个答案:

没有答案