我正在将日志消息写入Kafka主题,我希望保留此主题是永久性的。我在Kafka和Kafka Connect(_schemas,connect-configs,connect-status,connect-offsets等)中看到,有些特殊主题未被日志保留时间删除。如何强制主题与其他特殊主题一样?它是命名约定还是其他一些属性?
由于
答案 0 :(得分:15)
如果要永久保留所有主题,可以将log.retention.hours
和log.retention.bytes
都设置为-1。
答案 1 :(得分:3)
这些特殊主题是压缩主题。这意味着它们由键控消息组成,并且只保留列表最近的密钥。完整写here。在大多数情况下,这可能是您想要的无限保留时间。
答案 2 :(得分:0)
您可以在此处找到参数的默认值: https://jaceklaskowski.gitbooks.io/apache-kafka/content/kafka-properties.html
如果您想将数据永久保留在主题中,可以将 log.retention.bytes
和log.retention.ms
设置为-1。