监控动态（向上/向下扩展）kafka集群

Question

我们正在使用kafka集群，我们希望监控此集群。

目前我们的方法：

1. 收集jmx指标（telegraf jolokia plugin或jmxtrans）
2. 存入潮流
3. 通过grafana渲染

但是我们遇到了kafka经纪人列表的静态配置问题。 我们只能通过Jmxtrans或Telegraf jolokia plugin配置静态列表。

我们希望动态列表（示例仅配置kafka集群zookeeper连接，以便在每次收集指标的迭代中获取代理列表），以便扩展/缩小kafka。

可能存在监控动态kafka集群的另一种工具吗？

Answer 1

我的下一个解决方案：

1. 自定义bash输入插件（因为我不想使用一个自定义输入插件构建自己的telegraf，我现在不太熟悉语言:)）
2. 在bash插件中zkCli用于所有kafka节点发现
3. 下一个bash脚本将批量jolokia requet发布到每个kafka节点，聚合并格式化为涌入插件。