我在GCP的Kubernetes Engine中的Kubernetes集群上使用通过Helm部署的Dask。我当前的群集设置有5个节点,每个节点具有8 cpus,30 gb:
我跑了一个名为05-nyc-taxi.ipynb
的笔记本,结果导致工人被杀。
当我重新启动Dask客户端时,它表明我现在有零个工作程序和零个内存:
但是,当我运行kubectl get services
和kubectl get pods
时,它表明我的Pod和服务正在运行:
知道为什么会这样吗?
答案 0 :(得分:1)
重新启动客户端时,杀死所有工作程序,并开始创建新工作程序。该过程是异步的,但是客户端对象的呈现立即发生-因此,此时没有工作程序。您可以稍后再次渲染客户端对象:
In[]: client
或检查仪表板。
或者更好的是,您可以呈现集群对象本身,只要您在环境中安装了jupyter小部件,它们就会实时更新。如果您以前没有碰巧分配过集群对象,那么它也将以client.cluster
的形式提供。
btw:为什么这样必须重启集群?