从Cloud Dataflow或Apache Beam到kinesis流的确认

Question

在处理完来自Kinesis的数据后，如何向Amazon Kinesis Data Stream（Kinesis）发送确认？

例如，此数据应写入存储设备或数据库，甚至另一个消息队列。现在，确认会立即发送给Kinesis，但这可能是存储系统或数据库中的数据存储出错，或者在处理期间Cloud Dataflow或Apache Beam甚至崩溃了。这意味着存在潜在的数据丢失，因为来自Kinesis的事件在恢复后已经被读取，因此丢失了。