Kafka集群zookeeper故障处理

时间:2015-10-26 13:25:48

标签: java message-queue apache-kafka producer-consumer kafka-producer-api

我将实现一个由3台机器组成的kafka集群,一台用于zookeeper,另外两台用作经纪人。我有大约6台消费者机器和大约100家生产商。

现在,如果其中一个代理发生故障,则可以通过复制功能避免数据丢失。但是如果zo​​okeeper失败并且同一台机器无法启动怎么办?我有几个问题:

  1. 我注意到即使在动物园管理员失败后,制作人仍继续在指定的经纪人中推送消息。但消费者无法再检索它们。因为消费者没有注册。那么在这种情况下数据会永久丢失吗?
  2. 如何在运行时更改代理配置中的zookeeper ip?他们是否必须关闭以更改zookeeper ip?
  3. 即使新的zookeeper机器以某种方式进入集群,之前的数据会丢失吗?

1 个答案:

答案 0 :(得分:0)

仅运行Zookeeper的一个实例是不容错的,并且无法预测行为。根据{{​​3}},您应该设置一个至少包含3台服务器的集合。

查看官方文档页面:HBase reference