使用Opensource工具监控Kafka

Question

任何用于监控融合Kafka的Opensource工具？大多数可用的开源工具都是Apache Kafka特有的，但不适用于Confluent Kafka。

我们希望监控至少连接器，流和群集运行状况

Answer 1

在Confluent Platform 中分发的Kafka是 Apache Kafka。确实没有像＃34; Confluent Kafka＆＃34;这样的东西。任何使用最新版本的Apache Kafka（包括Kafka Connect和Kafka Streams）的工具都可以使用Confluent Open Source附带的相同版本的Kafka。

Confluent 3.3包括Apache Kafka 0.11
汇编3.2包括Apache Kafka 0.10.2
汇合3.1包括Apache Kafka 0.10.1
Confluent 3.0包括Apache Kafka 0.10.0
Confluent 2.0包括Apache Kafka 0.9
Confluent 1.0包括Apache Kafka 0.8.2

注意：Confluent Enterprise包含自己的监控和管理GUI，称为Control Center。控制中心是一个单独的过程，因此Apache Kafka仍然与开源版本相同。

Answer 2

您应该能够使用kafka-monitor来监控群集的运行状况，以及Burrow和KafkaOffsetMonitor来监控您的消费者应用程序延迟。此外，您绝对应该使用jmxtrans之类的东西来收集您的Kafka经纪人指标。

Answer 3

您可以使用KafkaOffsetMonitor的更新版本。它支持SSL / TLS和Kerbros。还使用Kafka 1.1.0库。