Dask中的Python软件包研发

时间:2018-09-27 13:41:42

标签: python development-environment distributed dask

按照我在Dask Gitter频道中的要求将其发布在这里。

在Dask中共享生产软件包非常简单。我们只需为调度程序和工作程序添加基本的Docker映像或启动脚本即可。在研发/开发过程中,快速更改P​​ython软件包时,此过程非常麻烦。

我在交互式Jupyter笔记本中使用了upload_file。但是,一旦推送软件包,后续的upload_files似乎就不会更新软件包。重置内核似乎是唯一的方法。其他人以交互方式在集群中更新这些软件包的当前工作流程是什么?

答案: 软件包实际上正在更新,但笔记本中的模块定义未更新。使用autoreload可能是一种解决方案。

1 个答案:

答案 0 :(得分:0)

Client.upload_file命令已经重新加载模块,如果它们再次发送。

您必须正常管理自己的本地进程。达斯克对此无能为力。您可能会考虑使用importlib.reload函数,但是我怀疑关于此主题的Stack Overflow上存在几个与Dask不相关的问题,在这里会有所帮助。