获取Flink中的Kafka消费者补偿

时间:2019-02-26 03:09:12

标签: apache-kafka apache-flink

我想实时了解FlinkKafkaConsumer010的当前偏移量以进行监视。在启用检查点的模式下,官方文档说此提交将仅与检查点提交一起提交,因此我无法获得所需的实时效果。我可以从kafka获得任何信息吗?我使用kafka.admin来获取当前偏移量,但这受检查点间隔的影响。即使源始终被消耗,如果检查点未完成,源也不会承诺更新当前偏移量。 Kafka的jmx具有用于主题的BytesOutPerSec指示器。消费者的提交行为似乎无关紧要。有没有类似的方法可以从主题或经纪人那里获得当前的抵销额?还是有另一种方法?

谢谢您的帮助。

Kafka Consumers Offset Committing Behaviour Configuration

0 个答案:

没有答案