我在数据流上使用流式字数。流量是“pubsub - > wordcount on dataflow(固定窗口) - > pubsub”。
部署管道时,有3个实例正在运行。 [https://s3-ap-northeast-1.amazonaws.com/matsuda-question/instances.png]
当我将文本发布到pubsub时,计数结果将发布到pubsub。 [https://s3-ap-northeast-1.amazonaws.com/matsuda-question/input.png] [https://s3-ap-northeast-1.amazonaws.com/matsuda-question/output1.png]
我手动停止3个实例的1个实例。这就像节点故障。 [https://s3-ap-northeast-1.amazonaws.com/matsuda-question/stopped_instances.png]
计数未完成。 [https://s3-ap-northeast-1.amazonaws.com/matsuda-question/output2.png]
我想停止处理“一,二,五”字样的节点。 当某些节点发生故障时,数据流是否具有故障转移功能?
答案 0 :(得分:3)
Streaming Dataflow当前不处理在正在运行的作业中停止的实例。但是,这不是计算引擎中可能的故障模式。保证失败的VM将再次重新启动。如果要在节点发生故障时试验管道的行为,可以从开发人员控制台重置VM。