数据流分配了过多的磁盘空间

时间:2018-06-25 15:24:42

标签: google-cloud-storage google-cloud-dataflow

我正在运行一个数据流作业,从40个工作人员扩展到更多,该工作现在正在占用9.77 TB持久性磁盘存储,并遇到以下错误。

Autoscaling: Unable to reach resize target in zone us-central1-c. QUOTA_EXCEEDED: 
Quota 'DISKS_TOTAL_GB' exceeded. Limit: 10240.0 in region us-central1.

作为结果,作业不应发出太多数据。因此,我想知道在这种情况下分配的PD的作用是什么。还要如何估算每个工人?

这是数据流作业链接:https://console.cloud.google.com/dataflow/jobsDetail/locations/us-central1/jobs/2018-06-24_11_41_19-5444495474275650044?project=wikidetox&angularJsUrl=%2Fdataflow%2FjobsDetail%2Flocations%2Fus-central1%2Fjobs%2F2018-06-24_11_41_19-5444495474275650044%3Fproject%3Dwikidetox&authuser=1

谢谢你, 宜清

1 个答案:

答案 0 :(得分:0)

let test = ''; getTestData(uriString) { return this.httpClient.get(uriString) .map((data) => { return data; }); } this.getTestData('api/test') .subscribe( (info: any) => { this.test = info.result; }, (error) => { console.log(error); } ); 配额用于分配给您的作业的硬盘驱动器,而不用于它发出的数据。

这是流工作吗?我相信流作业使用很大的硬盘驱动器来保存有关作业执行的数据。您可以为该项目/区域增加DISKS_TOTAL_GB的配额,应该没问题。