如何在清除kafka主题后返回原始日志保留

时间:2018-05-15 21:37:06

标签: apache-kafka purge

我们有3台kafka机器版本 - 0.10.0.2.6

我们希望清除所有kafka主题中的所有数据文件(彻底清除所有数据)

此操作的CLI应该(应该从动物园服务器运行)

kafka-topics.sh --zookeeper localhost:2181 --alter --topic Topic1 --config retention.ms=1000
kafka-topics.sh --zookeeper localhost:2181 --alter --topic Topic2 --config retention.ms=1000
kafka-topics.sh --zookeeper localhost:2181 --alter --topic Topic3 --config retention.ms=1000
kafka-topics.sh --zookeeper localhost:2181 --alter --topic Topic4 --config retention.ms=1000
.

因为我们暂时将主题的保留时间更新为一秒(1000毫秒)

然后如何返回之前的原始保留!

注意 - log.retention.hours = 168 (来自ambari GUI)这是原始值

那么如何在所有主题上返回原始值( 168 小时)?清除所有主题后?

主题列表

/usr/hdp/2.6.0.3-8/kafka/bin/kafka-topics.sh  --list --zookeeper localhost:2181
__consumer_offsets 
_schemas
hrtfsa.polr.mdr.initial
hrtfsa.polr.pri.content_analysis
hrtfsa.polr.pri.decoded
hrtfsa.polr.pri.enriched.suspected_relation
hrtfsa.polr.pri.id_correlation
hrtfsa.polr.pri.processed
hrtfsa.polr.suspected_relations
hrtfsa.monitoring.heartbeat

我找到了这个(https://gist.github.com/dmitz/47e230b35d84df900c2d57370f4e85b2

清除主题:

kafka-topics --zookeeper <zookeeper_address> --alter --topic <topic_name> --config retention.ms=1000

返回保留的原始值:

kafka-topics --zookeeper <zookeeper_address> --alter --topic <topic_name> --delete-config retention.ms

这对于版本0.10.0.2.6是否正确?

0 个答案:

没有答案