根据特定字段检查Kafka Cache

Question

我有一个接收消息的kafka主题。现在我的消费者收到一个具有各种字段的对象，可以说id和name。一些我收到另一个对象后，依此类推。一段时间后，我想检查具有id = {some number}的对象是否存在于kafka的缓存中。那么有没有办法根据特定字段检查kafka缓存。

Answer 1

你在谈论两个不同的消费者，Consumer-1，它只是消费来自Kafka主题的消息，根据你的逻辑进行一些处理。

Consumer-2从一开始就消耗了主题中的所有消息，并将它们与一组id匹配。

随着消息被添加到主题中，第二种情况将变得越来越昂贵。这不是Kafka的用例，你可以在ActiveMQ中更有效地做到这一点。

如果您仍然想要使用Kafka，另一个选择是您可以维护一个小的内存Hashset记录，您可以使用它来做comaprison。