Flink-如何通过JMX Reporter导出Flink的kafka连接器偏移量？

Question

根据here，我启用了JMX Exporter，并能够连接到它以查看一些指标：jobmanager.Status，jobmanager.job。

metrics.reporter.jmx.class: org.apache.flink.metrics.jmx.JMXReporter
metrics.reporter.jmx.port: 8789

但是，我没有看到KafkaConnector的指标（commitedOffets，currentOffsets）。 我该怎么做？

我想从Flink获取那些偏移量以进行计算

  

消费者滞后=最新的kafka分区偏移量-flink分区偏移量。

Answer 1

我找到了答案。 flink-conf.yaml 中的JMX端口配置应该是一个范围（9250-9260），而不是1个端口号。 Flink至少需要2个端口才能同时导出JobManager和TaskManager的指标。

metrics.reporter.jmx.class: org.apache.flink.metrics.jmx.JMXReporter
metrics.reporter.jmx.port: 9250-9260

如果仅指定1个端口（问题中为8789），则仅导出JobManager中的指标。 KafkaConnector的指标属于TaskManager的指标，因此不会出现。