Kafka数据从一台服务器复制到另一台服务器

时间:2015-11-19 04:40:29

标签: migration apache-kafka apache-zookeeper data-migration

我的kafka版本是0.8.2。 现在我想将数据从服务器A复制到服务器B,然后期望服务器B中的kafka与服务器A中的相同。

我尝试复制$ log.dirs中包含kafa-logs和zookeeper的所有数据。 但它不起作用。

是否可以只复制一些数据文件,然后使其在服务器B中与服务器A一样正常工作?

就像我从生产中复制sql转储文件并运行到我的本地mysql服务器一样,它将与生产服务器中的工作方式相同。

1 个答案:

答案 0 :(得分:0)

尝试kafka的kafka-mirror-maker,像这样,

>bin/kafka-mirror-maker.sh
        --consumer.config consumer.properties
        --producer.config producer.properties --whitelist my-topic

https://kafka.apache.org/documentation.html#basic_ops_mirror_maker

consumer.properties是服务器A的配置,您可以将zookeeper.connect修改为服务器A的zookeeper producer.properties是服务器B的配置,你可以修改bootstrap.servers到服务器B的

白名单是您要复制的主题。