增加一个主题的分区数时,偏移如何受到影响

时间:2019-09-27 12:10:31

标签: apache-kafka

我有一个kafka主题,其中有4个分区,我想增加到8个分区。

我想知道

  1. 旧4个分区中的数据是否会与新创建的4个分区中的数据均衡?
  2. 每个分区的偏移量将如何受到影响

我正在使用拉模式来使用数据,我需要在这里了解行为,以便能够在更改分区数量时管理偏移量/找到要在我的代码中使用的正确偏移量。

1 个答案:

答案 0 :(得分:0)

增加分区时,现有数据不会移动,因此偏移量不会受到影响。

此外,生产者将需要重新启动以检测新分区并开始将数据放入其中。如果您的邮件具有非null键,并且您希望分区中的邮件以特定顺序排列,那么增加的分区将暂时破坏这种保证,直到来自先前分区计数的所有旧邮件都过期