根据特定字段检查Kafka Cache

时间:2018-05-09 07:02:32

标签: apache-kafka kafka-consumer-api

我有一个接收消息的kafka主题。现在我的消费者收到一个具有各种字段的对象,可以说id和name。一些我收到另一个对象后,依此类推。一段时间后,我想检查具有id = {some number}的对象是否存在于kafka的缓存中。那么有没有办法根据特定字段检查kafka缓存。

1 个答案:

答案 0 :(得分:0)

你在谈论两个不同的消费者,Consumer-1,它只是消费来自Kafka主题的消息,根据你的逻辑进行一些处理。

Consumer-2从一开始就消耗了主题中的所有消息,并将它们与一组id匹配。

随着消息被添加到主题中,第二种情况将变得越来越昂贵。这不是Kafka的用例,你可以在ActiveMQ中更有效地做到这一点。

如果您仍然想要使用Kafka,另一个选择是您可以维护一个小的内存Hashset记录,您可以使用它来做comaprison。