通过flink保存点读取重复的邮件

Question

我正在尝试使用Apache Flink 1.6.0从kafka主题读取一些消息，将其转换，最后将它们发送到另一个kafka主题。在取消和重新设置的情况下，我使用保存点来保存应用程序的状态。问题是我在重新启动后阅读消息时出现重复。 kafka版本为011。感谢您的任何评论。

Answer 1

为避免重复，设置kafka生产者时必须传递Semantic.EXACTLY_ONCE。有关使用Kafka时数据丢失和重复的更多详细信息，请参见the documentation。