使用Dask LabExtenstion连接到远程集群

Question

我对在EMR上运行Dask集群并从在单独 EC2实例上运行的Jupyter Lab笔记本内部进行交互感兴趣（例如，不在集群内且不受管理的EC2实例）通过EMR）。

Dask文档指出dask-labextension是此用例的首选工具。 dask-labextension依靠a YAML config file（和/或某些环境变量）来了解如何与集群通信。但是，据我所知，此配置只能设置为指向 local Dask群集。换句话说，您必须在Jupyter Lab笔记本中运行，该笔记本必须在集群中的某个实例上运行（大概在主实例上？）才能使用此扩展名。

我的阅读正确吗？当前无法将dask-labextension与外部Dask群集一起使用吗？

Answer 1

Dask Labextension可以与从Web客户端运行位置可见的任何Dask群集进行对话。如果您可以在网络浏览器中连接到仪表板，则可以将该地址复制到Dask-Labextension搜索栏中，它将连接。