如何使用导入创建自定义Dask工作者

Question

我正在设置Dask，并且可以将dask用于多处理。

但是，当我想使用预先配置的Dask工作程序时遇到了问题。它们的导入与我的主要流程不同。

我在想。如何将自定义导入项添加到熟练的工作人员中，以便所有访问这些工作人员的期货都可以有效运行。

Answer 1

理想情况下，您的Dask工作者都应该具有相同的软件环境。通常，在Dask之外使用Docker映像或网络文件系统（NFS）可以保证这一点。还有诸如Client.upload_file之类的其他解决方案，这些解决方案对于小型脚本很有用。