模拟多节点kafka群集中的kafka代理失败以及用于缓解数据丢失问题的操作和工具

Question

当kafka代理在多节点kafka群集中失败时，是否有任何工具或操作可用于缓解数据丢失问题。

Answer 1

好吧，复制是Kafka的一个重要特性，也是避免数据丢失的关键因素。特别是，如果你的一个经纪人倒闭，其他经纪人的副本将被消费者使用，就像没有发生任何事情一样（来自商业方面）。当然，这会对连接，带宽等产生影响。

但是，必须正确生成一条消息才能复制。

所以基本上，如果你的复制集大于1，这应该是安全的，只要你的生产者不会失败。

default.replication.factor为1，因此将复制（在主题或一般级别）设置为2或3.当然，您需要2或3个代理。

http://kafka.apache.org/documentation.html#basic_ops_increase_replication_factor