使用JMX-exporter- centos 7配置kafka

时间:2019-09-20 18:54:36

标签: apache-kafka prometheus jmx-exporter

我想启用kafka监视,我将从测试单节点部署开始。我正在按照https://alex.dzyoba.com/blog/jmx-exporter/

的步骤进行操作

我尝试了以下步骤;最后一个检查jmx-exporter HTTP服务器的命令报告为空。我认为这就是原因,为什么我看不到kafka的指标。(请参见下文)

wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.6/jmx_prometheus_javaagent-0.6.jar
wget https://raw.githubusercontent.com/prometheus/jmx_exporter/master/example_configs/kafka-0-8-2.yml   
export KAFKA_OPTS='-javaagent:/opt/jmx-exporter/jmx_prometheus_javaagent-0.6.jar=7071:/etc/jmx-exporter/kafka-0-8-2.yml' 
/opt/kafka_2.11-0.10.1.0/bin/kafka-server-start.sh /opt/kafka_2.11-0.10.1.0/conf/server.properties
netstat -plntu | grep 7071

kafka代理登录控制台上没有任何错误消息。

我在容器中运行了Prometheus,http://IP:9090/metrics显示了很多指标。 当我搜索“ kafka”时,它会在

之后返回
# TYPE net_conntrack_dialer_conn_attempted_total counter
net_conntrack_dialer_conn_attempted_total{dialer_name="kafka"} 79
# TYPE net_conntrack_dialer_conn_closed_total counter
net_conntrack_dialer_conn_closed_total{dialer_name="kafka"} 0
net_conntrack_dialer_conn_established_total{dialer_name="kafka"} 0
# TYPE net_conntrack_dialer_conn_failed_total counter
net_conntrack_dialer_conn_failed_total{dialer_name="kafka",reason="refused"} 79
net_conntrack_dialer_conn_failed_total{dialer_name="kafka",reason="resolution"} 0
net_conntrack_dialer_conn_failed_total{dialer_name="kafka",reason="timeout"} 0
net_conntrack_dialer_conn_failed_total{dialer_name="kafka",reason="unknown"} 79

# TYPE prometheus_sd_discovered_targets gauge
prometheus_sd_discovered_targets{config="kafka",name="scrape"} 1
# HELP prometheus_target_sync_length_seconds Actual interval to sync the scrape pool.
# TYPE prometheus_target_sync_length_seconds summary
prometheus_target_sync_length_seconds{scrape_job="kafka",quantile="0.01"} NaN
prometheus_target_sync_length_seconds{scrape_job="kafka",quantile="0.05"} NaN
prometheus_target_sync_length_seconds{scrape_job="kafka",quantile="0.5"} NaN
prometheus_target_sync_length_seconds{scrape_job="kafka",quantile="0.9"} NaN
prometheus_target_sync_length_seconds{scrape_job="kafka",quantile="0.99"} NaN
prometheus_target_sync_length_seconds_sum{scrape_job="kafka"} 0.000198245
prometheus_target_sync_length_seconds_count{scrape_job="kafka"} 1

我的猜测是,端口7071上没有任何度量标准。与先前的发现JMX服务器在端口7071上没有响应相符。

您能帮助我使用JMX-exporter和Prometheus启用kafka监视吗?

1 个答案:

答案 0 :(得分:0)

  

我在容器中运行了普罗米修斯

您需要配置Prometheus来刮擦您的外部LAN IP,这是因为您在容器外部运行Kafka。

您可以在此行上看​​到当前设置拒绝连接

sp:text

您应该在主机上运行Prometheus并刮除net_conntrack_dialer_conn_failed_total{dialer_name="kafka",reason="refused"} 79

如果您希望localhost:7071被Prometheus发现,则在容器中运行Kafka