Kafka:用例:仅当生产者是生产者消息时,消费者才消费

时间:2020-08-07 14:59:10

标签: apache-kafka confluent-platform producer-consumer

用例:数据范围非常小,在源和目标之间很少。但我们仍然需要实时。在那种情况下,如果我想在Kafka上使用,是否有可能使消费者仅在生产者正在生成消息时才开始使用数据。我知道生产者和消费者是分离的。但是用Kafka处理此用例的最佳方法是什么。

1 个答案:

答案 0 :(得分:0)

Kafka Consumer是基于pull架构的。它会轮询Kafka经纪人以获取新消息(如果有)。

consumer will start consuming the data only when producer is producing message

如果这是您的意思-消费程序仅应在生成数据后启动,而不是在卡夫卡开箱即用后提供。您需要实现逻辑,以便在产生数据时启动kafka使用者。

如果您的消费者一直可以正常工作,它将继续以预定的时间间隔轮询Kafka代理以获取新消息。生产者生成数据后,民意调查将返回可以处理的消息。