已开始如何为除调度程序以外的其他区域的dask-worker配置GCP集群

时间:2020-06-23 17:43:37

标签: dask dask-distributed dask-kubernetes

我在us-east1区域启动了dask-scheduler的地方有一个kubernetes集群,我想在us-west1区域启动另一个要运行dask-workers的集群。据我了解,调度程序和工作程序之间的连接是双向的,因此我无法使用外部IP公开调度程序,我也必须公开工作程序。也许有某种方法可以避免此问题并且不暴露每个工作人员,或者以某种方式可以为不同区域中的两个集群配置网络并具有在它们之间进行通信的能力

1 个答案:

答案 0 :(得分:1)

我建议在同一区域中运行dask工作者和调度程序,并且理想情况下在网络中彼此相当接近。

如果必须建立远距离连接,则此位置在客户端和计划程序之间。该博客文章可能会有所帮助:https://words.yuvi.in/post/dask-local-kubernetes/