加快使用相同键的旧记录的删除(日志压缩主题)

时间:2020-08-21 20:38:26

标签: apache-kafka kafka-topic

我在Mac上使用默认服务器设置运行Kafka代理(版本2.12)。我创建了一个日志压缩的主题,具有以下配置-

Configs: cleanup.policy=compact,segment.bytes=1073741824,delete.retention.ms=100,segment.ms=100

我产生了三个具有相同键/值的记录。 5分钟后(log.retention.check.interval.ms = 300000),我从头开始阅读该主题。我在主题中看到以下三个记录。我本来希望有1条记录。

key1:aaa
key1:aaa
key1:aaa

10分钟后,我制作了一条记录,该记录具有相同的键,但值不同(键1:bbb)。然后5分钟后,从头开始阅读该主题将得到以下两条记录。我原本希望有1条记录(key1:bbb)。

key1:aaa
key1:bbb

我是否需要设置其他主题配置?任何帮助或指示,我们将不胜感激。

0 个答案:

没有答案