是否可以在DCOS中监视kafka生产者/消费者指标?

时间:2019-03-20 19:54:33

标签: apache-kafka prometheus confluent mesosphere dcos

由于我没有许可证,因此我尝试不使用Confluent Control Center来执行此操作。

我可以使用dcos task metrics details <broker-id>查看Kafka Broker指标,并且所有这些指标都已经在我的DCOS Prometheus实例上公开了。

但是,尽管在dcos上有一些生产者/消费者任务,但Prometheus上没有任何消费者/生产者指标可用。

是否可以按照某个流程在dcos上公开kafka产品/消费者指标?我尝试了以下https://github.com/ibm-cloud-architecture/refarch-eda/blob/master/docs/kafka/monitoring.md

但是据我了解,我们无法在DCOS托管的Kafka实例上使用JMX(尚未解决)(来源:https://jira.mesosphere.com/browse/DCOS_OSS-3632?page=com.atlassian.jira.plugin.system.issuetabpanels%3Achangehistory-tabpanel

有什么想法吗?

1 个答案:

答案 0 :(得分:1)

您必须将Prometheus JMX导出器添加到每个Kafka Java进程中,然后您需要使Prometheus服务器能够抓取这些导出器。为此,您可以在每个进程(容器?)中下载该JAR,然后编辑KAFKA_OPTS环境变量以使其包含-javaagent选项

AFAIK,这不需要设置可远程访问的JMX端口。

注意:控制中心不监视JMX值。它使用Kafka MetricsReporters和Interceptor。如果您选择编写自己的接口或找到其他接口,那么使用这些接口完全不需要Control Center。