Dask Distributed确保新工作人员获取由upload_file上传的模块

时间:2018-09-27 18:18:06

标签: python distributed dask

有什么方法可以确保新员工在加入集群时像dask-ml那样在分散数据时获得与上载文件一起发送的python软件包,即:

# Serialize the training data only once to each worker
with parallel_backend('dask', scatter=[digits.data, digits.target]):
    search.fit(digits.data, digits.target)

如果新作业在运行作业时加入集群,则它们不会获取模块且不会出错。

我想一种使用EFS装载处理加载R&D模块的方法,该装载符号链接到工作程序,Jupyter笔记本服务器和调度程序装载的站点程序包。虽然最好单独使用上载行file_up。

0 个答案:

没有答案