将Google Pub / sub主题订阅到Cloud Storage Avro文件会给我“超出配额”错误-在初学者教程中？

Question

我要通过Google的Firestore to BigQuery pipeline tutorual，然后进入第10步，在该步骤中，我应该将主题导出为保存在云存储中的avro文件。

但是，当我尝试运行该作业时，完全按照本教程中的说明进行操作后，出现错误消息，告诉我我的项目没有足够的配额来执行工作流。在邮件的配额摘要中，我注意到它显示为1230/818 disk GB。这是否意味着该作业需要1230 GB磁盘空间？目前，Firestore中只有100个文档？我觉得这不对吗？

我所有的云存储桶都空了：

但是，当我查看在page 9上设置的第一个导出作业中使用的资源（Pubsub主题到BigQuery）时，我感到更加困惑。

似乎正在使用疯狂的资源

Current vCPUs   
4
Total vCPU time     
2.511 vCPU hr
Current memory  
15 GB
Total memory time   
9.417 GB hr
Current PD  
1.2 TB
Total PD time   
772.181 GB hr
Current SSD PD  
0 B
Total SSD PD time   
0 GB hr

这是真实的，还是因为使用了所有这些资源，我做错了什么？我的意思是，根本没有任何活动，这只是订阅，对吧？

Answer 1

在后台，该步骤是调用Cloud Dataflow模板（确切地说是this一个模板）以从Pub / Sub读取并写入GCS。反过来，Cloud Dataflow将GCE实例（VM）用于其工作池。 Cloud Dataflow正在请求太多资源（需要磁盘，内存，vCPU等的GCE实例），并且已达到项目的限制/配额。

在optional parameters下配置作业时，您可以覆盖默认的工作程序数量（首先尝试1），还可以设置最小的VM类型（n1-standard-1）。这也应该为您节省一些钱。奖金！