如何使用Apache Kafka进行内容过滤？

Question

我有一个名为mytopic的主题。此主题有一个生产者和两个消费者。我需要做的是根据前缀过滤生产者生成的消息。例如，如果邮件以＆＃39; a＆＃39;开头。前缀，那么只有第一个消费者必须接受它。如果以＆＃39; b＆＃39;开头前缀，那么只有第二个消费者必须接受它。

我做了很多搜索，我找到的是过滤来自主题的消息，然后在过滤后将它们发送到不同的主题。但如上所述，我需要对一个主题进行过滤。我怎么能在卡夫卡那样做呢？

Answer 1

这很容易，也不需要回写不同的主题 ＆＃39; 2消费者＆＃39;是指2个消费者群体或1个消费群体中的2个消费者群体？ 我会谈两个。

如果是1个消费者群组中的2个消费者话题，则可以使用消息＆＃39; Key＆＃39;场。
Kafka发送相同的＆＃39; Key＆＃39;消息到同一分区＆＃39;。
例如，消息前缀＆＃39; a＆＃39;使用关键字段＆＃39; a＆＃39;，b消息前缀＆＃39; b＆＃39;使用关键字段＆＃39; b＆＃39;然后Kafka会将消息发送到＆＃39; Partition-1＆＃39;，b消息到＆＃39; Partition-2＆＃39;。 消费者线程A可以订阅指定的＆＃39; mytopic-Partition-1＆＃39;线程B可以订阅mytopic-Partition-2＆＃39; mytopic-Partition-2＆＃39; 使用＆＃39;分配＆＃39;类中的方法＆＃39; org.apache.kafka.clients.consumer.KafkaConsumer＆＃39;。

如果是2个消费者群体，只需订阅主题并过滤代码。如果不满意，请使用上述相同的方法。
技巧是将特定的前缀消息发送到特定的分区＆＃39;
如果你真的想要过滤器，也许你可以使用Kafka Connect插件。

Answer 2

一旦您使用 java stream 获取记录过滤，并使用特定于使用者的过滤器逻辑，就允许消费者使用所有数据。

简而言之，我的意思是按原样获取数据并使用java代码过滤它们，而不是在Kafka Level上进行过滤。

<强>更新

如果您要在 Kafka级别进行过滤，则可以使用分区，同时向kafka主题发送消息，发送带有前缀＆＃39; a＆的消息＃39; to Partition-1，以及带有前缀＆＃39; b＆＃39;的消息分区-2 。

现在，只消费消费各个消费者中的特定分区。