我们正在使用Kafka镜像制造商将0.8.2.1群集中的主题镜像到0.10.2.0群集。但是对于某些主题,我们依赖于循环分区分配(没有显式分区键)。
我知道镜像制作者会保留密钥并保持分区从源到目标但我看到了一些奇怪的事情:
源群集偏移量:
event_edi:0:28731
event_edi:1:28775
event_edi:2:28643
目标群集偏移:
event_edi:2:169
event_edi:1:88
event_edi:0:85596
这些消息中的大多数都没有任何密钥。将它们全部组合在一起并转储到同一个分区而不是循环中似乎很奇怪。
对于镜像制作者,我运行了SyncProducer,其余的配置都是默认的。
如果有人可以帮助我理解如何避免这种情况/或者如果我有错误将会感激不尽! TIA!
答案 0 :(得分:0)
如果未使用key显式对日志进行分区,则会执行此操作。我们的消息没有任何分区键,因此落在了相同的分区中