我一直在纠缠消费者暂停/恢复功能。对于新的消费群体,我遇到了一个问题,在消费任何条目之前,我会立即暂停。
当我立即暂停新消费者组的消费者并开始生成条目时,通常会在分区上看到LAG
计数器递增。但是,由于这是一个新的消费群体,我猜它不知道其CURRENT-OFFSET
,所以它也不知道如何跟踪LAG
。
请注意,我使用$ bin/kafka-consumer-groups.sh --describe
检查每个消费者组的偏移量和滞后时间。
对于较早的消费者组,其中的消费者已经处理了一些条目,分区将更新CURRENT-OFFSET
,因此我可以看到LAG
的数量随着消费者产生更多条目而增加暂停或按下。
我正在使用默认的auto.offset.reset
“最新”,并希望避免使用“最早”,因为我不想一开始就为新的消费群体消费。
在暂停/恢复这一主题上还有一个附带的问题,这可能与node-rdkafka库和rdkafka库有关。 为组的使用者恢复主题分区时,我一直在尝试仅传递主题名称和分区号(无偏移)。但是,即使没有引发任何错误,我的履历表也似乎不起作用。我想知道这是否与没有发送偏移量有关吗?
我认为这是一种奇怪的行为,因为我认为resume可以恢复给定分区的使用者,使其不再使用该分区,而消耗任何应计的LAG
。