安装kafka集群

时间:2016-06-16 13:42:00

标签: apache-kafka apache-zookeeper

我想在Amazon EC2上安装2节点Kafka群集。

我按照以下链接中的步骤操作:https://www.digitalocean.com/community/tutorials/how-to-install-apache-kafka-on-ubuntu-14-04

另外,我想在两个节点上都有zookeeper,因为如果我只在一个节点上拥有它,那么如果该节点死掉,我的kafka集群就会死掉。

在步骤9(安装多节点集群)中,他们说我需要修改kafka服务器属性中的zookeeper.connect,以便每个节点都有逗号分隔的 ip:port 列表其中安装了zookeeper。

另一方面,当我想创建一个主题时,在脚本中我只指定1个zookeeper

1)其他zookeeper节点是否知道该主题已创建?

2)如果1个zookeeper节点出现故障,另一个节点会被接管吗?

3)`当失败的节点再次上升时,它是否会再次从保持活动的节点获取有关主题的信息?

此致

斯尔詹

1 个答案:

答案 0 :(得分:3)

您应该创建一个不少于三个节点的集群。就像Serejja提到的那样,容错也应该是奇数。

3,5,7,9等

对于Kafka,您应在创建主题时指定--replication-factor。在三节点群集中,it's recommended将其设置为两个或三个。

在这种情况下,如果其中一个代理发生故障,数据将在可用节点上复制,然后一旦不可用节点重新联机,数据就会传播到它。

Kafka文档非常棒,我建议您进一步阅读Replication主题。