我正在运行Google Dataflow pipeline job，其作业ID为：2018-08-17_03_35_19-3029795715446392897
控制台表示已根据当前进度将我的自动缩放比例从3调整为1000，但是该工作仍然只针对3节点。
在Google Cloud Console中也没有收到关于配额限制的任何错误，因此我不确定Dataflow为何没有扩展我的管道，尽管它是这样说的。
谢谢您的帮助！
答案 0 :(得分：0)
当您尝试扩展到1000个工作线程时，似乎在VM实例数量配额上出错。根据这些docs，该配额是您允许的该区域CPU内核的一个因素。我将检查您的CPU配额，看看它们是否允许您配置的实例大小的1000倍。我还将检查您是否有足够的磁盘和IP地址以扩展到该工作池的大小。
要请求额外的配额，请按照说明here。
答案 1 :(得分：0)
对于autoscale your Dataflow Job，请确保使用“ autoscalingAlgorithm”：“ THROUGHPUT_BASED”。
如果您使用“ autoscalingAlgorithm”：“ NONE”和numWorkers：3（或者您未指定numWorkers，默认为3），那么即使Dataflow Job可以自动缩放到3个节点，它也会卡在3个节点上最大节点数（如果将maxNumWorkers设置为0或1000，则为1000）。
如果您不想使用THROUGHPUT_BASED，则需要在numWorkers而不是maxNumWorkers上指定所需的工作者数。
此外，要扩展到所需的工人数量，请确保指定一个等于或小于配额的数字，请使用以下方法检查您的配额：
Graphics