Apache Flume-由多个使用者从单个消息队列中提取数据

时间:2018-07-19 13:37:49

标签: apache integration message-queue flume solace

我目前正在开发Apache Flume代理,该代理可以从单个消息队列(Solace)中提取数据。由于消息的大小导致消息处理速度很慢,并且将吸收很多消息,因此我考虑使用多个代理来使用它们。但是,挑战在于多个代理可能会接收同一条消息,从而导致接收器(着陆桶)中出现重复项。当一个代理正在处理一条消息(未确认)时,如果另一个代理从队列中接收一条消息,则可能会发生这种情况。如果您有类似的经验和想法可以解决此问题,请分享。谢谢。

1 个答案:

答案 0 :(得分:1)

您可以使用非独占队列以循环方式在多个代理(消费者)之间分发消息。

除非存在一些潜在的错误(例如,其中一个使用者断开连接),否则不会有任何重复,这将导致Solace消息代理重新传递已传递但未确认的消息给另一个使用者。

在这种情况下,JMS消息将被标记为重新发送,并且您的应用程序必须执行一些逻辑来处理此可能重复的消息。


尽管不是绝对必要,但考虑处理应用程序无法成功处理的“毒药”消息也是一个好主意,并且可能导致重新传递失败,重新传递失败,重新传递失败循环。 / p>

您可以通过确保消息符合死消息队列的条件,配置死消息队列并调整队列上的“最大重新发送”设置来做到这一点。

这将确保“有毒”消息最终将被移动到死消息队列,而不是连续地重新传递到您的应用程序。