在多用户dask.distributed集群中隔离python环境有哪些选择?

时间:2017-10-08 03:15:00

标签: python dask dask-distributed

当多个用户上传(upload_file)相同python文件或zip内容的略有不同版本时,我特别感兴趣避免冲突。

看起来这不是一个真正受支持的用例,因为工作进程是长期运行的,并且受到其他环境的更改/添加的影响。

我喜欢这个库,以便进行简单的按需本地/远程上下文切换,因此我们非常欣赏我们可能拥有的选项,即使它意味着为用户特定的工作进程提供了一些无缝的部署步骤。

1 个答案:

答案 0 :(得分:0)

通常,拥有不同用户环境的解决方案是在Kubernetes,Marathon或Yarn等其他作业调度程序的基础上,即时启动和销毁不同Dask工作人员/调度程序的网络。

如果你需要重复使用同一组dask worker,那么你也可以小心地一致地指定workers=关键字,但这很容易出错。