如何在GCP Dataflow中确定持久磁盘使用?

时间:2017-07-13 17:45:08

标签: google-cloud-platform google-cloud-dataflow

在定价部分,Google表示每个工作人员的默认PD数量(因批量与流式传输而异)。我正在运行一项工作,考虑到我拥有的工作人员数量(与默认的PD使用相比),持久磁盘使用量远高于应有的数量。这在多个不同的工作中是一致的。导致PD使用增加的原因是什么?作为参考,流媒体工作者的默认值为480 GB,但我收取5888 GB的费用。

1 个答案:

答案 0 :(得分:3)

这是启用了自动缩放的流式传输管道。

根据https://cloud.google.com/dataflow/service/dataflow-service-desc#autoscaling

流媒体管道使用固定的永久磁盘池进行部署,数量与--maxNumWorkers相同

根据https://cloud.google.com/dataflow/service/dataflow-service-desc#persistent-disk-resources

每个永久磁盘的默认大小在批处理模式下为250 GB,在流模式下为400 GB。

所以"当前PD"的期望值应该是(你的值maxNumWorkers)* 400GB,而不是4 * 400GB。