本地Dask工作程序无法连接到本地调度程序

时间:2018-01-02 19:57:45

标签: dask dask-distributed

在OSX 10.12.6上运行Dask 0.16.0时,我无法将本地dask-worker连接到本地dask-scheduler。我只想跟随官方Dask tutorial。重现的步骤:

第1步:运行dask-scheduler

enter image description here

第2步:运行dask-worker 10.160.39.103:8786

enter image description here

这个问题似乎与dask调度程序有关,而不是与worker有关,因为我甚至无法通过其他方式访问该端口(例如nc -zv 10.160.39.103 8786)。

enter image description here

然而,该过程显然仍在机器上运行:

enter image description here

1 个答案:

答案 0 :(得分:1)

我的第一个猜测是,由于网络规则,您的计算机可能无法接受看起来像是来自外部世界的网络连接。您可能想尝试使用dask-worker localhost:8786,看看是否有效。

另外,作为提醒,您始终可以直接从Python启动调度程序和worker,而无需创建dask-scheduler和dask-worker进程

from dask.distributed import Client
# client = Client('scheduler-address:8786')
client = Client()  # create scheduler and worker automatically

作为一种万无一失的方法,您还可以通过processes=False,这将完全避免网络问题

client = Client(processes=False)