查询Kafka主题以获取特定记录

Question

是否有一种优雅的方式来查询特定记录的Kafka主题？我构建的REST API获取一个ID，需要在Kafka主题中查找与该ID相关联的记录。一种方法是通过自定义消费者检查主题中的每条记录并查找匹配项，但我希望避免读取大量记录的开销。 Kafka是否具有快速的内置过滤功能？

Answer 1

在Kafka中搜索记录（过度简化）的唯一快速方法是分区和偏移。新的生产者类可以通过期货返回写入消息的分区和偏移量。您可以使用这两个值来快速检索消息。

因此，如果您从分区和偏移量中取出ID，那么您可以实现快速查询。否则，不是那么多。这意味着对象的ID不是数据模型的一部分，而是由Kafka知识代码生成。

也许这对你有用，也许不适用。

Answer 2

这对你来说可能会迟到，但它会有助于其他人看到这个问题，现在有KSQL，kafka sql是一个开源的流式SQL引擎

https://github.com/confluentinc/ksql/