dataproc cluster update（resize）命令未完成

Question

我们有一个数据集群，我们为大型作业动态调整大小。我提交了一个群集调整大小请求，以便将我们的群集从10名工作人员，3名先发制人员减少到原来的规模（1m，2名工作人员），但这仍然没有在一小时后完成。

这是正常的吗？有没有办法重新发出请求？目前我在进度样式消息中获得了集群更新。

Answer 1

如果使用Graceful Decommissioning缩减Dataproc 1.2+群集，预计如果群集上正在运行的作业可能需要很长时间 - 缩减操作将等到YARN容器在退役节点上完成。

此外，如果您正在密集使用HDFS，则节点停用可能需要很长时间才能复制数据以防止数据丢失。

在当前操作完成之前，您无法发出另一个调整大小操作。