卡夫卡从主题中读取有限列表

Question

从kafka主题中读取有限相关记录列表的最佳方法是什么？例如，db查询包含几百条记录的结果。我怎么知道“结束”？标题中的简单标志？

Answer 1

听起来你正试图查询Kafka。在这种情况下，您可能想尝试KSQL（https://github.com/confluentinc/ksql）。它允许您创建类似SQL的查询，如SELECT * FROM mytopic WHERE regionid LIKE＆＃39;％_ 8＆＃39; OR regionid LIKE＆＃39;％_ 9＆＃39;限制100;

Answer 2

Kafka不是这种用例的好选择。您必须记住与数据库查询对应的消息的开始和结束偏移，并且还必须确保这些消息转到单个分区，否则它们可能会被添加到订单之外，甚至还有更多要记住的状态。如果您为每个查询使用一个独占主题，那将更好。 Kafka不是动态创建和删除主题的好选择。

相反，对于您提到的用例，Redis列表将是更好的选择。