卡夫卡:消费者无法从主题中读取记录

时间:2017-10-07 06:17:23

标签: apache-kafka apache-kafka-streams

我们正在使用Kafka流将数据写入接收器主题。我正在运行avro-consumer命令行来检查sink主题中是否有数据:

  

bin / kafka-avro-console-consumer --topic sink.output.topic --from-beginning --new-consumer --bootstrap-server

当我在kafka流应用程序运行时同时运行消费者时,我看到了数据但是如果我停止消费者并在几分钟后再次运行,我就看不到任何数据了。几种可能性:

1)这是因为kafka流每次将记录推送到水槽时都会从输出主题中删除记录吗?

2)或者这只是与消费者有关的问题?

2 个答案:

答案 0 :(得分:0)

我认为这是因为rowkey仅在消费者尚未建立偏移时使用。您是否尝试过使用--from-beginning

答案 1 :(得分:0)

根据您的描述,问题似乎与保留时间有关。 第二次运行时,数据可能已删除。 您可以配置保留时间

示例:log.retention.hours = 168