卡夫卡国家商店忘了旧数据?

时间:2017-09-02 11:22:44

标签: apache-kafka retention

我尝试查询我的本地窗口状态存储,如下所示:

long timeFrom = 0;
long timeTo = System.currentTimeMillis();
WindowStoreIterator<Long> iterator = windowStore.fetch("topic name", timeFrom, timeTo);

我只能回收大约36个小时的窗口数据,但过去想回到过去。

我尝试以多种方式配置保留,并重新启动了我的kafka服务器和zookeeper:

config / server.properties中的

: log.retention.hours = 87600

bin / kafka-topics.sh --zookeeper zk.yoursite.com --alter --topic topicName --config retention.ms = 86400000

仍然卡夫卡没有保留旧数据。

2 个答案:

答案 0 :(得分:1)

我认为您正在寻找窗口保留,而不是日志保留。如果是这样,您可以在http://docs.confluent.io/current/streams/developer-guide.html#windowing

了解如何根据自己的喜好进行配置

答案 1 :(得分:0)

检查此设置log.retention.bytes,看看您是否在删除特定尺寸后的数据。保留政策也可以基于规模。