Kafka镜像制作者将没有分区键的所有消息随机放在目标集群中

时间:2017-09-08 09:24:27

标签: apache-kafka kafka-consumer-api kafka-producer-api

我们正在使用Kafka镜像制造商将0.8.2.1群集中的主题镜像到0.10.2.0群集。但是对于某些主题,我们依赖于循环分区分配(没有显式分区键)。

我知道镜像制作者会保留密钥并保持分区从源到目标但我看到了一些奇怪的事情:

源群集偏移量:

event_edi:0:28731
event_edi:1:28775
event_edi:2:28643

目标群集偏移:

event_edi:2:169
event_edi:1:88
event_edi:0:85596

这些消息中的大多数都没有任何密钥。将它们全部组合在一起并转储到同一个分区而不是循环中似乎很奇怪。

对于镜像制作者,我运行了SyncProducer,其余的配置都是默认的。

如果有人可以帮助我理解如何避免这种情况/或者如果我有错误将会感激不尽! TIA!

1 个答案:

答案 0 :(得分:0)

如果未使用key显式对日志进行分区,则会执行此操作。我们的消息没有任何分区键,因此落在了相同的分区中