卡夫卡失去了信息

时间:2017-01-26 14:07:06

标签: apache-kafka

这是我的情景:

配置kafka,保留时间= 6h 创建主题 发送16个主题的消息 在主题0-7上运行消费者 =>收到消息 等一个小时左右 在主题8-15上开始第二个消费者 =>几分钟后没有消息消耗,轮询在超时一分钟后返回0消息 发送有关16个主题的消息 =>两个消费者都收到消息

当我们在没有消费者的情况下发送消息并稍后启动消费者时,我们已经多次注意到这种行为。在消费者连接之前在代理中发送的消息将丢失。

1 个答案:

答案 0 :(得分:1)

我认为您错过了指定使用者配置参数auto.offset.reset。默认值为latest(或者对于v0.9之前为largest),但似乎您希望将其设置为earliest(或者{v0.9前的smallest)。< / p>

您添加的是KafkaConsumer配置属性。

请参阅http://kafka.apache.org/0100/documentation.html#newconsumerconfigs