我在us-east1区域启动了dask-scheduler的地方有一个kubernetes集群,我想在us-west1区域启动另一个要运行dask-workers的集群。据我了解,调度程序和工作程序之间的连接是双向的,因此我无法使用外部IP公开调度程序,我也必须公开工作程序。也许有某种方法可以避免此问题并且不暴露每个工作人员,或者以某种方式可以为不同区域中的两个集群配置网络并具有在它们之间进行通信的能力
答案 0 :(得分:1)
我建议在同一区域中运行dask工作者和调度程序,并且理想情况下在网络中彼此相当接近。
如果必须建立远距离连接,则此位置在客户端和计划程序之间。该博客文章可能会有所帮助:https://words.yuvi.in/post/dask-local-kubernetes/