Flink（Kafka来源）如何管理抵消？

Question

我正在使用Flink的FlinkKafkaConsumer09，我想知道kafka消费者的抵消存储在哪里？

我无法在Zookeeper中找到它们，也无法在Kafka的偏移主题中找到它们。此外，kafka-consumer-offset工具找不到。

这是由Flink内部处理的吗？

Answer 1

  

Flink并不完全依赖卡夫卡的消费者群体偏移跟踪，而是在内部跟踪和检查这些偏移。

Flink使用Flink的分布式检查点机制来消耗Kafka主题和定期检查点的数据。如果失败，Flink将从检查点目录恢复记录，并在此之后开始从Kafka偏移量中读取数据。

在Flink中启用检查点以便使用故障Kafka消费者非常重要。

以下是如何做到这一点。

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(5000); // checkpoint every 5000 msecs