我们正在使用Kafka流将数据写入接收器主题。我正在运行avro-consumer命令行来检查sink主题中是否有数据:
bin / kafka-avro-console-consumer --topic sink.output.topic --from-beginning --new-consumer --bootstrap-server
当我在kafka流应用程序运行时同时运行消费者时,我看到了数据但是如果我停止消费者并在几分钟后再次运行,我就看不到任何数据了。几种可能性:
1)这是因为kafka流每次将记录推送到水槽时都会从输出主题中删除记录吗?
2)或者这只是与消费者有关的问题?
答案 0 :(得分:0)
我认为这是因为rowkey
仅在消费者尚未建立偏移时使用。您是否尝试过使用--from-beginning
?
答案 1 :(得分:0)
根据您的描述,问题似乎与保留时间有关。 第二次运行时,数据可能已删除。 您可以配置保留时间
示例:log.retention.hours = 168