Kafka - 设置压缩主题

时间:2018-04-30 13:22:51

标签: apache-kafka

设置一些主题for compaction意味着什么?

如果没有针对特定主题进行哪些优点/缺点?

只是想了解术语及其行为。

1 个答案:

答案 0 :(得分:1)

简单的日志保留,即基于时间/大小的日志保留不适用于所有情况。当然,这种方法可以节省空间,但不能保证数据的当前状态。

请允许我用一个场景解释一下。

让我们假设我们在stackoverflow中有一个关于用户的消息或日志流,并且您想要管理用户的状态。消息的键是UserID,值是UserInformation(NickName,Address,Email,Telephone等)。

用户可以多次更改自己的昵称。同样,他也可以更改联系人或任何信息。日志压缩将通过删除或清除冗余数据来帮助您保留最新的基于用户的信息。但是,基于时间或基于大小的保留可能无法保证保留用户的状态。

  

日志压缩保留最后的已知值,它是完整的快照   最新记录,它有助于在崩溃后恢复状态或   内存服务,持久数据存储或系统故障   重新加载缓存。它允许下游消费者恢复他们的   状态。

希望这有帮助。