如何使用Kafka-Stream按间隔读取Kafka的记录

Question

我想在Kafka-Stream消费者中使用从Kafka读取记录，有一个选项可以在每个给定的时间间隔内读取记录吗？例如，每隔1分钟？

Answer 1

我不确定我是否理解你的问题。但是，我认为有多种方法（取决于您实际想要实现的目标，但问题尚不清楚）。

1. 使用Kafka Streams DSL（Kafka 0.10）：使用Kafka Streams（Java流处理库），您可以将窗口聚合指定为任意大小的翻滚窗口
2. 利用时间戳（Kafka 0.10）：如果您想使用KafkaConsumer，您只需阅读消息并按间隔检查其时间戳到块数据
3. 基于系统时间（所有Kafka版本）：只读取来自Kafka的消息，并以系统时间间隔为基础放置消息。即，在处理下一条记录之前，请检查本地时钟以间隔发送消息。