使卡夫卡主题日志保留永久

时间:2016-09-27 22:02:43

标签: apache-kafka apache-kafka-connect

我正在将日志消息写入Kafka主题,我希望保留此主题是永久性的。我在Kafka和Kafka Connect(_schemas,connect-configs,connect-status,connect-offsets等)中看到,有些特殊主题未被日志保留时间删除。如何强制主题与其他特殊主题一样?它是命名约定还是其他一些属性?

由于

3 个答案:

答案 0 :(得分:15)

如果要永久保留所有主题,可以将log.retention.hourslog.retention.bytes都设置为-1。

答案 1 :(得分:3)

这些特殊主题是压缩主题。这意味着它们由键控消息组成,并且只保留列表最近的密钥。完整写here。在大多数情况下,这可能是您想要的无限保留时间。

答案 2 :(得分:0)

您可以在此处找到参数的默认值: https://jaceklaskowski.gitbooks.io/apache-kafka/content/kafka-properties.html

如果您想将数据永久保留在主题中,可以将

log.retention.byteslog.retention.ms设置为-1。