Kafka KStream - 衡量消费者滞后

Question

由于我的 KStream 应用程序并不遵循传统的Kafka Consumer路线，我应该如何跟踪消费者滞后？通常我会使用ConsumerOffsetChecker（或类似的东西），但它需要一个消费者群体名称。

我应该使用什么？

（我想跟踪这个，以便我可以判断是否/何时推出新的消费者）

Answer 1

Kafka Streams在内部利用KafkaConsumer，并将应用程序ID用作使用者组ID。因此，您可以像对待任何其他消费者一样监控延迟。

请参阅http://docs.confluent.io/current/streams/developer-guide.html#required-configuration-parameters

  

Application Id（application.id）：每个流处理应用程序必须具有唯一ID。 [...]

     

此ID用于以下位置，以隔离应用程序使用的资源：

     

  
• 作为默认的Kafka使用者和生产者client.id前缀
  
• 作为Kafka消费者群体。协调
  
• 作为州目录中的子目录的名称（参见state.dir）
  
• 作为内部Kafka主题名称的前缀