如何向Kafka消息添加工作流程?

时间:2017-09-05 06:18:41

标签: java python apache-kafka workflow

我正在将我的Java项目从Rabbit MQ迁移到Kafka(出于某些原因)。

然而,我面临一个困难。

在当前工作流程中,我将所有消息发布到rabbit mq exchange,并根据消息的路由密钥,将消息重定向到一个或多个队列。 我想在Kafka中保留相同的功能。 (我知道kafka最初不适合它,但我想要一个解决方法)。

基本上,我想要这样的事情:当主题收到消息时,根据消息中存在的元素,消息应该被重定向到其他主题集。

实现这一目标的最快方法是什么?我更喜欢python或java解决方案

由于

1 个答案:

答案 0 :(得分:0)

如果您使用密钥发布Kafka消息,则会将其定向到主题分区,以便所有类似的密钥都转到同一分区。

或者,您可以使用Kafka Streams读取输入主题,并根据消息提供的密钥将消息路由到一组输出主题。