Kafka保存了多长时间的压缩日志？

Question

我是Apache Kafka的新手。我一直在阅读有关压实清理政策的内容。我对此特别感兴趣，因为我想在主题上使用此策略，这些主题用于同步不同的数据存储以实现最终的一致性。

我看到有一个delete.retention.ms选项供我使用。但这仅适用于＆＃34;删除＆＃34;墓碑/有效载荷。据我所知，此选项限制了在未能查看来自offset=0的记录后我可以让消费者重新运行的时间。但是，我从不硬删除系统中的任何内容。换句话说，我永远不会删除＆＃34;删除＆＃34;墓碑/有效载荷。

由于我永远不会删除墓碑，我想知道Kafka将保留压缩日志多长时间？

注意：我确实遇到this问题导致我this问题。这不能回答我需要知道的内容，或者这不是我可以用来设置压缩日志存在时间限制的东西。如果我错了，请纠正我。

Answer 1

如果您使用日志压缩（而不是日志保留），Kafka将保留每个密钥永久的最新条目（直到您使用显式逻辑删除消息<key:null>删除整个密钥）。

Answer 2

根据KIP-71，现在您可以应用该政策：

"compact,delete" 

将同时应用两者，每一个都有阈值。