Question

我想使用dask-distributed，既支持算法，也支持一般任务图执行。不幸的是，我们使用的批处理调度程序并不支持DRMAA，所以我不能使用dask-drmaa。我们为所有主机提供NFS。有没有办法可以开始使用Dask，还是需要批量调度程序支持DRMAA？

Answer 1

您可以使用批处理调度程序来运行dask-scheduler和dask-worker进程，这些进程只是普通的python进程。因为您有共享的网络文件系统（NFS），所以这应该特别容易。

使用批处理调度程序运行以下命令

dask-scheduler --scheduler-file /path/to/some/new-file.json

还可以使用批处理调度程序多次运行以下命令

dask-worker --scheduler-file /path/to/some/new-file.json
dask-worker --scheduler-file /path/to/some/new-file.json
dask-worker --scheduler-file /path/to/some/new-file.json

调度程序和工作人员将按该文件协调其位置并相互同步。

然后，您可以使用以下命令从同一网络上的任何Python会话连接到此群集

>>> from dask.distributed import Client
>>> client = Client(scheduler_file='/path/to/some/new-file.json')

可在此处找到更多信息：http://distributed.readthedocs.io/en/latest/setup.html#using-a-shared-network-file-system-and-a-job-scheduler

如何在非DRMAA批处理调度环境中使用Dask？

1 个答案: