如何将单个节点Kafka扩展到多个节点集群？

Question

我打算安装Kafka用于公司消息传递。计划是首先在一台巨大的机器上安装kafka，然后在需要时将其扩展到4-5台机器（一个集群）。

我对卡夫卡的经验不多。想知道是否可以通过更改代理配置中的参数来扩展，并在新连接的机器上安装zookeeper。

或者我怎么能以最简单的方式粗略地做到这一点？更具体地说是CDH中的Cloudera Kafka。

由于

Answer 1

要扩展Kafka，如果需要使用kafka-topics.sh，则必须为主题添加更多分区。然后使用kafka-reassign-partitions.sh将分区重新分配给新的代理。

重新分配实用程序将自动复制和分发您的数据。您可以为整个主题或一组选择性分区执行此操作。

完整的文档是here。请看第6节。