spring-integration-kafka:多消息 - 分区 - 消费者关系

时间:2015-08-10 22:40:03

标签: spring spring-integration apache-kafka

要求:

假设我收到来自3个组织的消息,并希望由不同的消费者单独/有序地处理它们。

来自特定组织的m条消息 例 m1:来自oragnisation 1的许多消息

P-分区 C-消费者

针对特定主题和消费者群体。

m1  P1  c1
m2  P2  c2
m3  P3  c3

现在,稍后在运行时新组织join.SO,它应该是新条目,即新分区/新消费者

m1  P1  c1
m2  P2  c2
m3  P3  c3

m4  p4  c4

另外,如果由于任何原因任何消费者死亡,那么分享不应该分配给其他消费者,而是用新的消费者代替最近丢失的消费者。想要保持1比1的关系在m - > p - > c之间,以便跟踪来自哪个组织的内容。

示例:如果c3死掉了,那么它就会立即被c5替换而不会丢失数据并从c3离开的地方开始消耗,依此类推。

我正在使用spring-integration-kafka 1.2.1.RELEASE

是否可能?寻找最佳解决方案。 如果获得上面提到的版本(1.2.1)的生产者和消费者的代码片段/样本,那将会很棒。 非常感谢。

0 个答案:

没有答案