Google Dataflow与PubSubIO源不断提供?

时间:2016-10-31 14:37:53

标签: google-cloud-dataflow google-cloud-pubsub

假设我们有一些数据通过Google PubSub主题传入,其流量模式本质上是尖锐的,可能需要很长的安静时间,然后数据突发快速进入分钟。

对于处理该数据,如果我们要使用基于订阅的PubSubIO作为数据源的流模式Dataflow,数据流是否总是处于具有最小工作数的运行状态,或者是否会在突发时重新启动数据进入,但一旦我们进入安静时期就停止了?

1 个答案:

答案 0 :(得分:2)

如果启用autoscaling,Dataflow将根据负载动态提高或降低工作人员数量,而无需重新启动管道。您可以详细了解herehere