汇总的kafka REST代理返回空的已提交的偏移量

时间:2017-07-20 18:04:57

标签: apache-kafka confluent

我正在使用Confluent REST代理v.3.2.0,最近我从auto.commit.enable = true切换到false,所以现在我正积极地获取并提交偏移量。我的目标是每次创建消费者而不是消耗的偏移量时依赖承诺的偏移量。这背后的原因是,当微服务在消费消息之后但在处理消息时崩溃时,不要跳过处理消息是非常重要的。使用POST ==>成功处理后,偏移量会更新/ consumers /(string:group_name)/ instances /(string:instance)/ offsets。对我们来说,重新处理消息不是问题,我们得到相同的结果,因此可以容忍倒带。

问题是我们在回复呼叫时得到空的补偿:GET ==> / consumers /(string:group_name)/ instances /(string:instance)/ offsets

为什么我会在响应中得到空的偏移量,我该怎么做才能以编程方式修复此问题?我试过打电话给POST ==> /位置/开始,但这没有帮助,因为我下次尝试时仍然会得到空的补偿。

1 个答案:

答案 0 :(得分:0)

使用默认设置时,偏移会在24小时后过期,因此如果您希望保持较长时间不活动的位置,则需要增加代理offsets.retention.minutes配置文件中的server.properties参数。

否则,如果偏移到期,则消费者将重置为主题的开头或结尾,具体取决于kafka-rest.properties文件中配置的重置策略参数auto.offset.reset的配置。