如何使用DataDog监控Kafka消费者指标

时间:2019-09-27 18:39:35

标签: java apache-kafka monitoring datadog

我们正在尝试在Datadog上设置kafka消费者指标。

一些细节:

我们的kafka经纪人位于云(多租户)上,因此它无法公开指标,因此我们不寻找经纪人指标

我们有我们的Java客户端(春季启动微服务),它在kubernetes cluser上运行,这是Kafka主题的使用者。

根据文档,我们了解可以通过连接到消费者(kafka客户端)来获取主题,消息滞后等数据,即消费者指标,而无需连接到kafka经纪人。

我们正在尝试从运行在同一群集上的datadog代理连接到kube群集上的客户端。

使用者详细信息(微服务主机)和主题详细信息通过config.yml文件提供。

以上述配置运行数据狗代理时,我们可以看到与使用者建立了连接,然后断开了连接。

2019-09-24 22:03:40 UTC | CORE | INFO | (pkg/collector/python/datadog_agent.go:118 in LogMessage) | - | (client_async.py:234) | Bootstrapping cluster metadata from [('servicehost, 9091, 0)] 2019-09-24 22:03:40 UTC | CORE | INFO | (pkg/collector/python/datadog_agent.go:118 in LogMessage) | - | (conn.py:349) | [IPv4 ('IPAddress', 9091)]>: connecting to servicehost:9091 [('IPAddress', 9091) IPv4] 2019-09-24 22:03:40 UTC | CORE | INFO | (pkg/collector/python/datadog_agent.go:118 in LogMessage) | - | (conn.py:372) | [IPv4 ('IPAddress', 9091)]>: Connection complete. 2019-09-24 22:03:40 UTC | CORE | ERROR | (pkg/collector/python/datadog_agent.go:114 in LogMessage) | - | (conn.py:823) | [IPv4 ('IPAddress', 9091)]>: socket disconnected 2019-09-24 22:03:40 UTC | CORE | INFO | (pkg/collector/python/datadog_agent.go:118 in LogMessage) | - | (conn.py:710) | [IPv4 ('IPAddress', 9091)]>: Closing connection. KafkaConnectionError: socket disconnected 2019-09-24 22:03:40 UTC | CORE | ERROR | (pkg/collector/python/datadog_agent.go:114 in LogMessage) | - | (client_async.py:288) | Unable to bootstrap from [('servicehost', 9091, 0)]

我认为它正在尝试连接Broker。还有其他方法可以仅配置使用者指标而不使用代理网址吗?基本上,我们如何告诉Datadog代理我们只需要连接到kafka客户端,而不必连接到代理。

使用者配置文件是否有任何命名约定? Datadog代理查看文件的任何特定位置?

请提出建议?

0 个答案:

没有答案