获取有关Kafka Connect群集的信息

时间:2019-02-05 10:34:17

标签: apache-kafka apache-kafka-connect

我目前正在使用相同的group.id

使Kafka具有两个节点的连接集群

使用curl / connectors时,我可以获得创建的连接器列表,但看不到有关活动节点,运行状况检查的信息...

2 个答案:

答案 0 :(得分:1)

Kafka Connect不会从REST API中公开此类信息。

您能做的最好的事情是打/connectors/{name}/status,然后建立一组所有正在运行的工作程序,但仍不能保证100%提供所有节点。

答案 1 :(得分:0)

我知道现在可能已经晚了,但是改进 KC 集群监控的一种方法是使用这个 Kafka REST 扩展: https://github.com/LoObp4ck/kafka-connect-healthchecks

然后让您的监控定期作业检查此端点,以确保所有连接器任务都运行良好。 我们在生产中使用它,它可以完成工作

jar 也可以在 maven central 中使用,如下所示:

<dependency>
  <groupId>net.loobpack.kafka-connect-healthchecks</groupId>
  <artifactId>kafka-connect-healthcheck-extension</artifactId>
  <version>1.0.0</version>
</dependency>