如何将部分主题数据从一个群集复制到另一个群集

时间:2019-03-26 19:25:23

标签: apache-kafka

我有一个用例,我需要将数据从一个主题复制到另一个群集中的另一个主题,但是我只需要从给定的偏移量复制。在上述用例中我可以使用什么?

我已经研究了镜像制造商,因为它可以将数据从一个群集复制到另一个群集,但是如何提到偏移量部分,我没有得到。 有什么我可以使用的工具吗?

1 个答案:

答案 0 :(得分:0)

如果您说“这将是一次操作”,则可以使用kafkacat这个-o选项。

例如(最简单的情况):

kafkacat -C -b mybrocker_cluster_1:9092 -t mytopic1 -o <offset> | \
kafkacat -P -b mybrocker_cluster_2:9092 -t mytopic1

您可能仍需要向使用者添加一些参数:

-X message.max.bytes=<value> -X fetch.message.max.bytes=<value> -X receive.message.max.bytes=<value>