有没有办法始终在Kafka服务器中保留主题中的最后一条消息？

Question

根据Kafka官方文档https://kafka.apache.org/documentation/#gettingStarted，其中包含时间和尺寸保留参数。有没有一种方法可以配置Kafka始终保留每个主题的最后一条消息，而不管它会持续多久？ 目前，我正在考虑在有效期结束时重新发布它，这似乎不是一个好主意。

Answer 1

请参阅日志压缩部分，主题设置为cleanup.policy=compact将无限期保留消息，但仅保留具有唯一键的消息。

请注意， 所有 消息将保留在一个打开的“段”中，该段默认值为1GB的数据，而任何封闭的旧段将具有唯一的键控事件。您可以调整主题的分段大小和“脏率”，以使LogCleaner更具攻击性，但这是以性能为代价的。