我正在尝试使用mirror maker将数据从一个kafka集群复制到另一个kafka集群。假设主集群关闭,是否可以自动将kafka消息发送到第二个集群?并且当群集1以较少的人工干预自动再次启动时,是否可以将群集1与群集2同步?
任何帮助都非常感谢。
答案 0 :(得分:0)
我认为您打算询问如何在Kafka经纪人之间维护副本,这些经纪人一起被认为是Kafka集群。
如果是这种情况,那就非常简单了,您所要做的就是配置Kafka群集并创建一个复制因子主题,其大小等于其中节点的大小群集。
例如:
假设我们希望在Kafka群集上有3个Broker,那么您需要为每个代理准备一个不同的配置文件,然后将它们作为一个群集启动,然后创建一个复制因子为3的主题。
Kafka将负责维护容错。
有关实际配置的详细信息,请在youtube上观看这些视频: