我有一个用例,我需要将数据从一个主题复制到另一个群集中的另一个主题,但是我只需要从给定的偏移量复制。在上述用例中我可以使用什么?
我已经研究了镜像制造商,因为它可以将数据从一个群集复制到另一个群集,但是如何提到偏移量部分,我没有得到。 有什么我可以使用的工具吗?
答案 0 :(得分:0)
如果您说“这将是一次操作”,则可以使用kafkacat这个-o选项。
例如(最简单的情况):
kafkacat -C -b mybrocker_cluster_1:9092 -t mytopic1 -o <offset> | \
kafkacat -P -b mybrocker_cluster_2:9092 -t mytopic1
您可能仍需要向使用者添加一些参数:
-X message.max.bytes=<value> -X fetch.message.max.bytes=<value> -X receive.message.max.bytes=<value>