Question

我有几个Kafka connectors在生产中。有时这些连接器之一死于错误消息：

ERROR WorkerSinkTask {id = jdbc-sink-0}任务抛出未捕获的不可恢复的异常（org.apache.kafka.connect.runtime.WorkerTask：172）
处的org.apache.kafka.common.errors.WakeupException

...

ERROR WorkerSinkTask {id = jdbc-sink-0}任务被杀死，并且在手动重启之前无法恢复（org.apache.kafka.connect.runtime.WorkerTask：173）

奇怪的是，用于该死连接器的REST-API仍然说一切正常。

监视这种情况的最佳实践是什么？

Answer 1

我知道为时已晚，但改进 KC 集群监控的一种方法是使用此 Kafka REST 扩展： https://github.com/LoObp4ck/kafka-connect-healthchecks

然后让您的监控定期作业检查此端点，以确保所有连接器任务都运行良好。我们在生产中使用它，它可以完成工作

jar 也可以在 maven central 中使用，如下所示：

<dependency>
  <groupId>net.loobpack.kafka-connect-healthchecks</groupId>
  <artifactId>kafka-connect-healthcheck-extension</artifactId>
  <version>1.0.0</version>
</dependency>

Kafka连接器的运行状况检查

1 个答案: