kafka Consumer升级到.9

时间:2016-05-05 14:11:09

标签: apache-kafka kafka-consumer-api

您好我正在开发kafka升级到.9并且还将kafka使用者升级到使用.9发布的新java使用者。 升级时,我正在使用现有主题,步骤只是停止.8 kafka和启动.9 kafka指向相同的log.dirs,在消费者方面,我使用相同的组名和主题名称,但新的消费者从主题中的起始位置再次消耗消息。我已经将它们交给了.8。 我正在添加auto.offset.reset = earliest。

知道为什么会发生这种情况或者我们需要首先使用.8使用者消费所有消息并让滞后变为0。 谢谢 晴天

1 个答案:

答案 0 :(得分:0)

虽然0.8个消费者在Zookeeper中存储偏移量,但0.9消费者将它们存储在特定的Kafka主题中。因此,0.9消费者通常不会看到0.8消费者存储的任何偏移,因此将从开始消费。有一个FAQ可能有助于迁移偏移量。引用:

  

1)升级您的经纪人并设置dual.commit.enabled = false和offsets.storage = zookeeper(仅向Zookeeper提交抵消)。

     

2)设置dual.commit.enabled = true和offsets.storage = kafka并重启(向Zookeeper和Kafka提交偏移量)。

     

3)设置dual.commit.enabled = false和offsets.storage = kafka并重启(仅向Kafka提交抵消)。

(没试过,只是引用。)