阅读卡夫卡出租车的最后坐标

时间:2019-03-11 06:03:28

标签: apache-kafka geolocation message-queue

我是Kafka的新手,在探索它的同时,我发现了Taxi聚合服务中Kafka的用例。在这里,它说出租车将继续发布主题的座标,它的消费者将向指定位置显示最近的出租车。

在这种使用情况下,我无法理解消费者应用程序将如何仅使用出租车的“最后”位置来获取最近的出租车。

例如,如果我有2辆出租车,他们每2秒钟推一次位置,则24小时内将有数千个条目,当消费者使用此信息时,只需要计算最后一个位置的距离这两个出租车的坐标,以前的所有值都没有用。

如何在Kafka中创建仅读取给定出租车的最后值的消费者?据我了解,消费者组将从最近的偏移量读取,也可以从分区的开头/结尾开始-但是所有这些情况都没有涵盖最后的位置用例。

我认为的一种方法是使用所有位置消息并使用它已读取的最新位置,并继续更新内存高速缓存或键值存储中另一个位置的位置,其中键是出租车id,值是最后一个位置。为此,消费者应该保持最新状态(消费者最后读取的位置应该不太老(理想情况下应该与生产者推送的位置相同)。

在有成千上万辆出租车的卡夫卡,有没有更清洁有效的方式来处理它?<​​/ p>

0 个答案:

没有答案