Kafka队列消息处理

时间:2016-07-20 11:21:52

标签: apache-camel apache-kafka

我有一个与Kafka队列消息处理相关的有趣问题需要解决。这是问题所在:我有一个主题让我们说“Topic1”和相应的消费者“Consumer1”。 Consumer1正在处理来自Topic1的消息,但是一旦处理的总消息达到一定限度(比方说#1000),它就需要停止处理,但是接收的所有后续消息应该在第二天再次处理。

在某种程度上,我们对每天可处理的邮件数量有限制,加上邮件溢出应该转发到第二天进行处理。

另一个重要的事情是,我们还有一个ResponseTopic1,其中消费者正在监听响应,无论发送的消息是处理还是结转到第二天。

首先,我在这里考虑3个主题:Topic1,ResponseTopic1和WaitingTopic1。一旦违反限制,我们就可以将消息从RT1移至WT1。 WT1的消费者将在一天开始时动态启动,并开始处理来自等待队列的消息。

我知道这个解决方案并不完美,因此在这里发布,因为我在考虑更多。如果您以前解决过任何此类问题,请分享。在此先感谢。

0 个答案:

没有答案