Kafka Log Compaction

时间:2018-03-11 21:37:38

标签: apache-kafka

当kafka记录压缩时,分区的日志段被分成"脏" /" head"并且"尾巴"。我知道压缩只发生在段的尾部。但脏/头部分是否包含活动段记录以及早于log.cleaner.min.compaction.lag.ms的已关闭段记录?

文档说

"如果未设置,除了最后一个段(即当前正在写入的段)之外,所有日志段都有资格进行压缩。即使所有消息都超过最小压缩时间滞后,活动段也不会被压缩。 "

但是,由于段的头部/脏部分无论如何都不会被压缩,因此对于压实的头部/灰尘部分,活动部分也会被考虑在内吗?

1 个答案:

答案 0 :(得分:0)

得到了我的问题的答案,我的理解最初是不正确的。它的工作方式是日志的某些头/脏部分也会被压缩,而头部不包括活动段。 以下视频40.0来自Jun Rao,解释如下: https://vimeo.com/185844593/77f7d239a3?mkt_tok=eyJpIjoiWkRKall6azFZekJoTldGayIsInQiOiJvd2pTTmQ5WUIrUHUzelpDOVh5eStienVpZ1N1amlYMUc3Y3BMZWFTRjBMdEtaUXJRM2pLemNyTHB3bzkyYWVpSFRnMTN0NzdpV0VpMFp6d3V4YktMZ1dEaG1vNnBpMGR0OG9UbWUrUUZ6NDNpXC9GZmhGS1dVU1ZXcDJXdTRoSEMifQ%3D%3D