作业失败时检查重复的Apache Flink

时间:2020-08-13 04:24:30

标签: apache-flink flink-streaming

我正在使用Kafka,Flink。 Flink从Kafka读取的我的消息然后执行一些业务逻辑到DB,并将其发送到Third API(例如:邮件,GG Sheet),每条消息都恰好发送一条。一切正常,但是如果Job失败并重新启动(我正在使用检查点),则任何消息中继都会重新发送到Third API。我可以让Redis查看已发送的消息。这样,应该在Redis中检查每条消息,并影响性能。我想知道解决方案不需要使用Redis来检查重复项。

0 个答案:

没有答案