按照我在Dask Gitter频道中的要求将其发布在这里。
在Dask中共享生产软件包非常简单。我们只需为调度程序和工作程序添加基本的Docker映像或启动脚本即可。在研发/开发过程中,快速更改Python软件包时,此过程非常麻烦。
我在交互式Jupyter笔记本中使用了upload_file。但是,一旦推送软件包,后续的upload_files似乎就不会更新软件包。重置内核似乎是唯一的方法。其他人以交互方式在集群中更新这些软件包的当前工作流程是什么?
答案: 软件包实际上正在更新,但笔记本中的模块定义未更新。使用autoreload可能是一种解决方案。
答案 0 :(得分:0)
Client.upload_file
命令已经重新加载模块,如果它们再次发送。
您必须正常管理自己的本地进程。达斯克对此无能为力。您可能会考虑使用importlib.reload
函数,但是我怀疑关于此主题的Stack Overflow上存在几个与Dask不相关的问题,在这里会有所帮助。