我有3个具有相同组ID的流媒体消费者,他们订阅了只有一个分区的Kafka主题。这样就可以将一个分区分配给一个使用者,而其他使用者则处于空闲状态。我们需要杀死闲置的消费者。我们将Spark与YARN一起使用。
如何识别空闲的消费者
是否有来自kafka的命令来检查哪个消费者处于空闲状态,或者还有其他我们可以实现的命令?
答案 0 :(得分:0)
kafka-consumer-groups --group name
将显示组中的所有客户端以及分配了分区的客户端
尽管如此,如果使用者线程之一发生故障,具有备份过程也不会造成损害