Dataflow / Apache Beam在什么阶段发布了发布/订阅消息?

时间:2017-10-13 02:20:51

标签: google-cloud-platform google-cloud-pubsub apache-beam dataflow

我有一个数据流流媒体作业,Pub / Sub订阅作为无限制来源。我想知道数据流在什么阶段确认传入的发布/订阅消息。在我看来,如果在数据流管道的任何阶段抛出异常,则消息将丢失。

此外,我想知道如何编写带有pub / sub无界源的数据流管道的最佳实践,以便在失败时检索消息。谢谢!

1 个答案:

答案 0 :(得分:2)

数据流流式运行器会在捆绑包成功后收到捆绑包接收的pubsub消息,并且捆绑包的结果(输出和状态突变等)已经持续提交。在成功之前重试失败的捆绑包,并且不会导致数据丢失。如果您认为可能发生数据丢失,请提供详细信息(工作ID和您的推理,以便您得出因数据失败而导致数据丢失的结论),我们将进行调查。