kafka经纪人从0.10迁移到2.3

时间:2019-09-05 11:48:51

标签: apache-kafka migration

我正在寻找有关从0.10到2.3正确的kafka代理数据迁移的帮助。

我们已经安排了一次主要的kafka升级,从Kafka 0.10(从HDP 2.6.4)升级到Kafka 2.3(Confluent 5.3)。

我们的野蛮迁移策略总结如下:

  • 第0步:备份Zookeper,kafka代理log.dir等配置(用于回滚)
  • 第1步:停止kafka生产者
  • 第2步:阻止kafka消费者
  • 第3步:收集有关每个消费者组的上次消费抵消量的信息
  • 第4步:停止经纪人
  • 第5步:在与现有集群相同的计算机上安装kafka confluent
  • 第6步:配置2.3 Broker log.dir指向0.10目录
  • 第7步:重新启动新代理
  • 第8步:迫使消费群体抵消第3步的收益
  • 第9步:重新启动生产者和消费者

您认为这样的程序可行吗?相关吗?你有更好的策略吗?

此致

循环

0 个答案:

没有答案