在dask.distributed集群中的计算机之间共享python模块

时间:2019-11-19 12:48:44

标签: python dask

我有一个ssh dask.distributed群集,其中一台主计算机包含我脚本的所有模块,而另一台只有几个,当然包括dask本身。

是否可以更改另一台计算机的sys路径,以便它也在主计算机中查找模块?当然,我可以简单地通过sftp上载它们,但是由于我不断制作很多模块,因此重复执行会很烦人。

1 个答案:

答案 0 :(得分:1)

使用NFS或SSH远程挂载之类的网络解决方案可以实现上述目的,但这是一个很大的领域,超出了Dask本身的范围。如果幸运的话,这里还会出现其他答案,其他人已经解决了类似的问题,但是更可能的复制方式是更简单的解决方案。