如何在Apache Kafka中添加备份生成器？

Question

我是卡夫卡的新手。我有订单/市场数据多播（通过Tibco Rendezvous），我的Kafka制作人正在收听它并将其发布在一个主题上，所有主题都在1个分区中发布到代理（我有一个代理列表和一个3个节点的Zookeeper集合），可以容忍Zookeeper和经纪人的失败。

然而，如果我的制作人失败了，那么卡夫卡经纪人的持久性是不够的，因为无论如何我都会失去多播的消息。我的消费者在每条消息之后提交偏移量，因为它不能对单个消息进行双重处理。

我在考虑让备份生产商发布一个不同的主题，但即使Kafka允许重新启动消费者，消费者也会知道从哪里开始挑选。

此外，我可能没有传入消息的唯一标识符。

Answer 1

您从生产者处获得的数据存储在消费者中。这意味着在Kafka-logs中。如果您需要备份，那么一个简单的解决方案是放置您创建的主题的副本。bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --topic topicname