有什么方法可以确保新员工在加入集群时像dask-ml那样在分散数据时获得与上载文件一起发送的python软件包,即:
# Serialize the training data only once to each worker
with parallel_backend('dask', scatter=[digits.data, digits.target]):
search.fit(digits.data, digits.target)
如果新作业在运行作业时加入集群,则它们不会获取模块且不会出错。
我想一种使用EFS装载处理加载R&D模块的方法,该装载符号链接到工作程序,Jupyter笔记本服务器和调度程序装载的站点程序包。虽然最好单独使用上载行file_up。