将Kafka 0.8.2.1集群中的数据镜像到Kafka 2.2.0集群

时间:2019-05-23 12:21:54

标签: apache-kafka replication

我想将Apache Spark结构化流与Kafka一起使用,Spark结构化流支持Kafka 0.10及更高版本,而我的Kafka集群使用kafka版本0.8.2.1。我想将一些主题从当前的kafka 0.8.2.1集群复制到基于2.2.0的新的Kafka集群。

为此,我尝试在Kafka 2.2.0群集上使用kafka-console-consumer侦听来自kafka群集0.8.2.1的消息,并将kafka-console-consumer的结果通过管道传输到kafka上的kafka-console-producer 2.2.0集群。但这并不意味着Kafka 2.2.0集群上的kafka-console-consumer无法接收任何消息。

1 个答案:

答案 0 :(得分:0)

到目前为止,我已经通过使用Java Client API从kafka 0.8.2.1集群中读取数据来解决此问题,并将从较旧的kafka集群(0.8.2.1)中读取的数据写入较新的kafka集群(2.2.0) )使用客户端API。

有人能建议一些更好的方法来镜像运行不同版本的Kafka的两个kafka集群吗?