带有Kafka活页夹的Spring Cloud Stream以及如何从源排队数据

时间:2017-09-28 04:45:21

标签: apache-kafka spring-cloud-stream spring-kafka

我是使用kafka来推出云流的新手,并对它的概念感到疑惑。在我的应用程序中,当源向流式传输kafka绑定器发送消息时,数据不会堆积...我可以看到数据源在Kafka使用者中工作,实际上没有消耗,只是为了检查数据真的出来了。

然而,问题是我无法消耗接收器上堆积的数据。(处理器的监听器)。它几乎不消耗实时流式传输的数据。

让我举个例子。 对于制片人来说,

data1, data2, data3, data4, data5, ... (streaming for producer)

对于消费者来说,它将在data4生成时启动。然后,我的应用程序将从数据4 ...

获取数据
data4, data5, data6, .... (streaming for consumer)

我知道Kafka的概念,data1,data2,data3应该等待消费者,但它不适合我。我怎么知道有什么不对,有什么想解决这个问题?

1 个答案:

答案 0 :(得分:0)

您需要显示您的配置。

匿名消费者(没有spring.cloud.stream.bindings.xxx.group的消费者)从主题末尾开始消费(在他们开始时),因此可能会“遗漏”某些消息。

group(从未消费过)的消费者从一开始就开始; group(以前消费过的)消费者从他们离开的地方开始。