如何将kafka主题迁移到日志压缩?

时间:2018-12-13 08:07:57

标签: apache-kafka

我们有一个Kafka主题, cleanup.policy 当前是 delete 。在此主题上产生的消息没有密钥。我可以更改此主题的配置,并且在没有密钥的情况下它不会接受任何新消息,这是合理且理想的。

我想知道卡夫卡将如何处理这些旧的无密钥消息。会像对待他们一样拥有一把钥匙吗?还是不会受到新的清理政策的影响?

是否存在用于迁移的最佳做法,我无法找到有关此事的信息。这是不寻常的用例吗?

预先感谢

1 个答案:

答案 0 :(得分:1)

我已经在我的Kafka群集中进行了一些测试,并回答了以下问题:

  • 没有密钥的邮件将被删除
  • 如果不添加新消息,则可能会在分区中得到一些旧消息,因为它们位于“最后一个段”中。当您添加新消息时,它们将被删除

我想我将介绍一个新的紧凑主题,并将我的数据重新发布到新主题。这将导致所有消费者都消费一个新主题,但是就我而言,这是可以的。

祝我未来好运