我正在寻找有关从0.10到2.3正确的kafka代理数据迁移的帮助。
我们已经安排了一次主要的kafka升级,从Kafka 0.10(从HDP 2.6.4)升级到Kafka 2.3(Confluent 5.3)。
我们的野蛮迁移策略总结如下:
- 第0步:备份Zookeper,kafka代理log.dir等配置(用于回滚)
- 第1步:停止kafka生产者
- 第2步:阻止kafka消费者
- 第3步:收集有关每个消费者组的上次消费抵消量的信息
- 第4步:停止经纪人
- 第5步:在与现有集群相同的计算机上安装kafka confluent
- 第6步:配置2.3 Broker log.dir指向0.10目录
- 第7步:重新启动新代理
- 第8步:迫使消费群体抵消第3步的收益
- 第9步:重新启动生产者和消费者
您认为这样的程序可行吗?相关吗?你有更好的策略吗?
此致
循环