管理谷歌dataproc preemptible-workers持久磁盘大小

时间:2016-07-28 10:35:54

标签: jupyter-notebook google-cloud-dataproc

我在使用google dataproc创建的群集上使用jupyter,但效果非常好。

我尝试更改群集" 大小" (机器类型,启动盘大小,工人数量......)以满足我的需求,并且运行良好。

主要问题是我不知道如何更改可抢占工作者的持久磁盘大小。

我正在使用此命令:

gcloud dataproc clusters create jupyter --project <my_project>   --initialization-actions gs://dataproc-initialization-actions/jupyter/jupyter.sh --num-preemptible-workers 0 --master-boot-disk-size 25 --worker-boot-disk-size 10  --worker-machine-type n1-standard-1 --worker-boot-disk-size 10

我希望&#34; --worker-boot-disk-size 10&#34;选项也适用于可抢占的选项,但事实并非如此。

那么,有没有办法改变preemptible-workers引导磁盘大小?

此外,Google会向我收取可预留的工作人员持久磁盘使用情况吗?

2 个答案:

答案 0 :(得分:1)

beta dataproc gcloud频道提供了--preemptible-worker-boot-disk-size,听起来就像你想要的那样。

例如:

gcloud beta dataproc clusters create ... --preemptible-worker-boot-disk-size 500GB

在此宣布: https://cloud.google.com/dataproc/release-notes/service#july_1_2016

截至9月16日发布,可以使用--preemptible-worker-boot-disk-size而无需创建任何可抢占的VM: https://cloud.google.com/dataproc/docs/release-notes/service#september_16_2016

答案 1 :(得分:0)

注意: 只有在创建群集时才能使用“--preemptible-worker-boot-disk-size”。 如果您创建群集然后使用

gcloud dataproc clusters update  jupyter --project <my_project> --num-preemptible-workers 50

新的可抢占问题将拥有100GB的持久磁盘大小。 如果您尝试:

gcloud dataproc clusters update  jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10

gcloud beta dataproc clusters update  jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10

它不起作用。