我在google dataproc中默认设置了一个群集(4个vCPU,15GB Ram)。 在完成几个猪作业后,该集群有2-3个不健康的节点。 所以我升级了工作虚拟机的vCPU(4到8个vCPU),Ram(15GB到30GB)和磁盘。 但是在Hadoop Web界面中显示工作节点的硬件没有改变,它仍然显示了原始的vCPU / Ram / Disk挂载。
如何在dataproc中动态升级worker的cpu / ram / disk?
感谢。
答案 0 :(得分:0)
Dataproc不支持在正在运行的群集上升级工作者。要升级,我们建议重新创建群集。您还可以通过cluster update gcloud命令添加额外的工作人员。
可以通过停止每个工作器实例,升级和重新启动来升级工作器类型。但是,有许多hadoop / spark属性必须改变以适应不同的容器尺寸。