Question

我有一个flink流媒体作业，它正在从kafka读取数据并只记录它。我启用了检查点。

我无法在卡夫卡中看到提交的偏移量，而是在达到误差之下。

任何帮助都很受欢迎。

{$KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group flink-consumer-group
Error while executing consumer group command Group flink-consumer-group with protocol type '' is not a valid consumer group
java.lang.IllegalArgumentException: Group flink-consumer-group with protocol type '' is not a valid consumer group
at kafka.admin.AdminClient.describeConsumerGroup(AdminClient.scala:152)
at kafka.admin.ConsumerGroupCommand$KafkaConsumerGroupService.describeGroup(ConsumerGroupCommand.scala:308)
at kafka.admin.ConsumerGroupCommand$ConsumerGroupService$class.describe(ConsumerGroupCommand.scala:89)
at kafka.admin.ConsumerGroupCommand$KafkaConsumerGroupService.describe(ConsumerGroupCommand.scala:296)
at kafka.admin.ConsumerGroupCommand$.main(ConsumerGroupCommand.scala:68)
at kafka.admin.ConsumerGroupCommand.main(ConsumerGroupCommand.scala)}

版本

kafka_2.11-0.10.1.0 (server with) flink-connector-kafka-0.10_2.11

Answer 1

所以我认为默认情况下flink会在chekpointing上将偏移提交给kafka，因为默认情况下值FlinkKafkaConsumer#setCommitOffsetsOnCheckpoints为真。

不幸的是，通过kafka-offset checker cli看不到这些偏移。

我们实施了一个scala kafka消费者，该消费者连接到具有相同消费者群体的kafka但未订阅该主题以从kafka获得抵消。

注意：从Kafka 0.9版消费者开始Flink Kafka导出所有标准指标，请参阅documentation。

Answer 2

Flink通过它自己来处理偏移。提交给kafka（或旧版本或设置中的zookeeper）的偏移量或多或少仅用于您的信息或用于监视目的。

您的错误看起来像是混合了不同的kafka版本（代理版本与客户端版本）。也许你可以仔细检查一下。

Flink没有给卡夫卡提供补偿

2 个答案: