不同的Kafka主题可以有不同的保留长度吗？

Question

我希望有一个主要主题（日志保留7天）和几个较小的主题，以及具有较小日志保留（2天）的过滤语料库。这可能吗？

注意：我正在使用Kafka v0.10.1.1。

Answer 1

log.retention.hours是代理的属性，在创建主题时用作默认值。使用kafka-topics.sh更改当前正在运行的主题的配置时，应指定主题级属性。

日志保留时间的主题级属性是retention.ms。

来自Kafka 0.10.1文档中的主题级配置：

属性：retention.ms 默认值：7天 服务器默认属性：log.retention.minutes 描述：如果我们使用“删除”保留策略，此配置将控制我们在保留旧日志段以释放空间之前保留日志的最长时间。这表示消费者必须多快阅读其数据的SLA。 所以正确的命令是

$ bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic as-access --config retention.ms=172800000 您可以使用以下命令检查配置是否正确应用。

$ bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic as-access 然后你会看到类似下面的内容。

Topic:as-access PartitionCount:3 ReplicationFactor:3 Configs:retention.ms=172800000