有没有办法为带有自动扩展功能的Cloud Dataflow指定最小数量的工作程序?

时间:2018-08-14 20:00:34

标签: google-cloud-platform google-cloud-dataflow

我想为我的工作指定一个最小数量的工人,使自动缩放比例不会低于此数量(类似于this.value的工作方式)。这可能吗?我的理由是,有时启动工作人员所需的时间足够长,自动缩放功能决定将工作人员的人数减少到一个,即使这样做对我的工作而言并非最佳选择。我仍然想使用自动缩放功能,以防工作量超出我的估计最小值。

4 个答案:

答案 0 :(得分:1)

根据Autoscaling文档,您可以在--maxNumWorkers选项中specify设置最大工人数,并以--numWorkers作为初始工人数。您可以在this document

中找到这些选项的描述

答案 1 :(得分:1)

尚不支持最小工人数。是否可以提交包含工作详细信息的票证,以便其支持人员可以了解一下为什么它缩减为过少的工人?

答案 2 :(得分:0)

您可以使用--numWorkers指定最小工作线程数,--maxNumWorkers是部署应用程序时要使用的初始工作线程数。

您可以使用webpack --config-register babel-register --config ....指定最大数量的工作程序,这是数据流自动缩放时的最大值,然后它可以使用的最大工作程序数。

答案 3 :(得分:0)

现在已支持:根据documentation

,传递参数为--num_workers