根据shutdown and update job in Google Dataflow with PubSubIO + message guarantees,数据流的发布/订阅源在消息可靠地保留之前不会发送消息。有可能手动控制吗?由于目前没有无限制的自定义接收器支持,我们将行保留为ParDo中的副作用,是否有任何方法可以将ParDo标记为“在捆绑处理成功时记录这些记录”?
或者,我们是否可以在ParDo中作为副作用持续存在,如果失败则抛出异常,然后在管道中的ParDo之后会有类似BigQuery的“虚拟”流式传输,以确保消息是确认的倒是?将异常作为“正常的,预期的行为”的一部分会导致新的问题吗?
这里的答案真的“只等待无限制的自定义接收器支持”吗?
答案 0 :(得分:2)
我相信Dataflow会自动提供您想要的行为。在我们使用您的ParDo
完成处理后,我们不会发布PubSub消息,并保留结果。