Question

我的Kafka消费者有两个线程，分区数是10个，所以每个消费者线程总共有5个分区。我正在节省需要处理特定记录的时间。现在，如果需要从现在开始10小时后选择partition1上的record1，那么Thread应该移动到下一个分区以查看是否可以选择下一个分区。

示例：

TreeView

现在分区P1上的数据需要在8小时被选中，当前时间是6小时，如果我让我的线程等待8小时我会等待1小时，虽然我可以处理P3，P4和P5。

请告诉我如何处理。

Answer 1

我会更容易：每个分区都有消费者。有KafkaConsumer.assign() API可以真正选择并为消费者分配特定分区。这样，他们每个人都会根据上述时间表处理自己孤立的逻辑。