我有一个接收消息的kafka主题。现在我的消费者收到一个具有各种字段的对象,可以说id和name。一些我收到另一个对象后,依此类推。一段时间后,我想检查具有id = {some number}的对象是否存在于kafka的缓存中。那么有没有办法根据特定字段检查kafka缓存。
答案 0 :(得分:0)
你在谈论两个不同的消费者,Consumer-1,它只是消费来自Kafka主题的消息,根据你的逻辑进行一些处理。
Consumer-2从一开始就消耗了主题中的所有消息,并将它们与一组id匹配。
随着消息被添加到主题中,第二种情况将变得越来越昂贵。这不是Kafka的用例,你可以在ActiveMQ中更有效地做到这一点。
如果您仍然想要使用Kafka,另一个选择是您可以维护一个小的内存Hashset记录,您可以使用它来做comaprison。