当多个用户上传(upload_file
)相同python文件或zip内容的略有不同版本时,我特别感兴趣避免冲突。
看起来这不是一个真正受支持的用例,因为工作进程是长期运行的,并且受到其他环境的更改/添加的影响。
我喜欢这个库,以便进行简单的按需本地/远程上下文切换,因此我们非常欣赏我们可能拥有的选项,即使它意味着为用户特定的工作进程提供了一些无缝的部署步骤。
答案 0 :(得分:0)
通常,拥有不同用户环境的解决方案是在Kubernetes,Marathon或Yarn等其他作业调度程序的基础上,即时启动和销毁不同Dask工作人员/调度程序的网络。
如果你需要重复使用同一组dask worker,那么你也可以小心地一致地指定workers=
关键字,但这很容易出错。