我在使用google dataproc创建的群集上使用jupyter,但效果非常好。
我尝试更改群集" 大小" (机器类型,启动盘大小,工人数量......)以满足我的需求,并且运行良好。
主要问题是我不知道如何更改可抢占工作者的持久磁盘大小。
我正在使用此命令:
gcloud dataproc clusters create jupyter --project <my_project> --initialization-actions gs://dataproc-initialization-actions/jupyter/jupyter.sh --num-preemptible-workers 0 --master-boot-disk-size 25 --worker-boot-disk-size 10 --worker-machine-type n1-standard-1 --worker-boot-disk-size 10
我希望&#34; --worker-boot-disk-size 10
&#34;选项也适用于可抢占的选项,但事实并非如此。
那么,有没有办法改变preemptible-workers引导磁盘大小?
此外,Google会向我收取可预留的工作人员持久磁盘使用情况吗?
答案 0 :(得分:1)
beta dataproc gcloud频道提供了--preemptible-worker-boot-disk-size,听起来就像你想要的那样。
例如:
gcloud beta dataproc clusters create ... --preemptible-worker-boot-disk-size 500GB
在此宣布: https://cloud.google.com/dataproc/release-notes/service#july_1_2016
截至9月16日发布,可以使用--preemptible-worker-boot-disk-size而无需创建任何可抢占的VM: https://cloud.google.com/dataproc/docs/release-notes/service#september_16_2016
答案 1 :(得分:0)
注意: 只有在创建群集时才能使用“--preemptible-worker-boot-disk-size”。 如果您创建群集然后使用
gcloud dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50
新的可抢占问题将拥有100GB的持久磁盘大小。 如果您尝试:
gcloud dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10
或
gcloud beta dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10
它不起作用。