我想知道如何利用Dask进行序列化。用例是我希望Dask控制多节点任务,使节点之间通过MPI相互通信。
该实现涉及编写一个包装程序,以确保根任务是向调度程序注册的唯一任务。根从Dask获取任务,将其广播到其他节点(使用MPI),然后每个人都执行相同的代码。使用装饰器,我可以进行必要的序列化和广播,但是我想利用Dask随附的序列化而不是自己进行。
因此,简而言之,有人可以指出一个使用dask序列化程序进行序列化/反序列化的示例/实现
my_func(my_data, my_other_data, my_kwarg=foo, my_other_kwarg=bar)
我是一个敏捷的新手,我无法从源头上弄清楚。