使用多个Dask调度程序

时间:2018-11-13 20:49:31

标签: dask dask-distributed

我们正在使用Dask将计算任务分配到多个服务器。有1个dasch-scheduler服务器和5个dask-worker服务器。我的问题是:有没有办法可以使用多个调度程序?我之所以这样问,是因为单个dasch-scheduler无法避免单点故障,有时,如果请求量很大,则单个调度器可能会成为性能的瓶颈。

谢谢!

1 个答案:

答案 0 :(得分:0)

一个迟钝的群集使用单个调度程序运行,在某些情况下,由于分配任务而导致的开销确实可能是瓶颈。

要回答您的特定问题,是的,您可以根据需要连接来自同一python进程/会话的单独的调度程序:每次对Client()的调用都可以指向不同的地址。很难说这是否对某种负载平衡有用-群集之间不会相互了解,也不会共享任何资源。