管理谷歌dataproc preemptible-workers持久磁盘大小

Question

我在使用google dataproc创建的群集上使用jupyter，但效果非常好。

我尝试更改群集＆＃34; 大小＆＃34; （机器类型，启动盘大小，工人数量......）以满足我的需求，并且运行良好。

主要问题是我不知道如何更改可抢占工作者的持久磁盘大小。

我正在使用此命令：

gcloud dataproc clusters create jupyter --project <my_project>   --initialization-actions gs://dataproc-initialization-actions/jupyter/jupyter.sh --num-preemptible-workers 0 --master-boot-disk-size 25 --worker-boot-disk-size 10  --worker-machine-type n1-standard-1 --worker-boot-disk-size 10

我希望＆＃34; --worker-boot-disk-size 10＆＃34;选项也适用于可抢占的选项，但事实并非如此。

那么，有没有办法改变preemptible-workers引导磁盘大小？

此外，Google会向我收取可预留的工作人员持久磁盘使用情况吗？

Answer 1

beta dataproc gcloud频道提供了--preemptible-worker-boot-disk-size，听起来就像你想要的那样。

例如：

gcloud beta dataproc clusters create ... --preemptible-worker-boot-disk-size 500GB

在此宣布： https://cloud.google.com/dataproc/release-notes/service#july_1_2016

截至9月16日发布，可以使用--preemptible-worker-boot-disk-size而无需创建任何可抢占的VM： https://cloud.google.com/dataproc/docs/release-notes/service#september_16_2016

Answer 2

注意： 只有在创建群集时才能使用“--preemptible-worker-boot-disk-size”。 如果您创建群集然后使用

gcloud dataproc clusters update  jupyter --project <my_project> --num-preemptible-workers 50

新的可抢占问题将拥有100GB的持久磁盘大小。 如果您尝试：

gcloud dataproc clusters update  jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10

或

gcloud beta dataproc clusters update  jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10

它不起作用。