Kafka主题不压缩

Question

我们有一个带有25个分区的Kafka主题，主题设置如下：

delete.retention.ms=5000
cleanup.policy=compact
compression.type=lz4

其中大约有100亿条记录，每个分区大约13个段。最古老的细分市场已有几个月的历史。

代理正在运行Confluent Platform 5.0.1（Kafka 2.0），并设置为持续压缩：

# Ensure compaction runs continuously
log.cleaner.min.cleanable.ratio=0.00001

# Set a limit on compaction so there is bandwidth for regular activities
log.cleaner.io.max.bytes.per.second=100000000

log.segment.bytes=1073741824

这是有关合规性GDPR和压缩的帖子：GDPR & Kafka

问题

日志未压缩。到现在为止，已经删除了90％的主题。许多记录具有空值，应将其清除；我希望将其删除的其余记录具有重复的键。

日志清理器日志中没有错误，我可以看到它清理了主题的后续部分。