我们正在开发从Kinesis到Flink的流处理服务。
- 该服务将需要调用多个外部API来丰富数据流，因此在本例中将使用Async / IO API。
- 如果有任何例外情况，我们希望将事件捕获到接收器，并有选择地将消息重播到Flink以便重试。
- 我们拥有Kinesis的控制权，Kinesis允许将消息重播长达7天，且数据保留时间延长，但不能选择性地重播，我们希望保留更长的时间
我们正在考虑侧面输出异常流并将其保存到单独的接收器。是否有一种机制可以以最少的人工将数据从接收器拉到Kinesis？我们尚未决定要使用什么水槽。有更好的解决方案或建议吗？