Kafka如何撤销主题分区机制在0.9.0.1中有效?

时间:2016-11-24 12:52:57

标签: java apache-kafka

我对 Kafka Revoke分区机制感到困惑(可能是我实现了我的java代码有点不同。)

据我所知:

  1. 第一主题下,如果有'N'否。分区,'N'号 消费者可以使用该主题的消息以及新的消息 消费者订阅该主题将发生撤销和分区 将在那些'N'消费者之间重新分配。

  2. 现在,如果消费者订阅了多个分区的第二主题,我的 理解是第一主题上的撤销分区不应该 发生(或它会?)

1 个答案:

答案 0 :(得分:0)

撤消通常在重新分区时发生。考虑一个场景,您有5个分区,一个消费者组下的3个消费者正在侦听该主题。

由于没有分区>没有使用者,因此使用者以固定间隔在分区之间跳转。此过程称为重新平衡。

考虑消费者1连接到分区1,并获取一批消息,进行处理,然后将确认发送回给代理以获取这些消息偏移量。但是,如果使用者花费更多时间来发送对消息批处理的确认,并且发生了重新平衡(即使用者1离开分区1​​并进入其他分区),则将抛出该分区已撤销的事件。