用例:数据范围非常小,在源和目标之间很少。但我们仍然需要实时。在那种情况下,如果我想在Kafka上使用,是否有可能使消费者仅在生产者正在生成消息时才开始使用数据。我知道生产者和消费者是分离的。但是用Kafka处理此用例的最佳方法是什么。
答案 0 :(得分:0)
Kafka Consumer是基于pull架构的。它会轮询Kafka经纪人以获取新消息(如果有)。
consumer will start consuming the data only when producer is producing message
如果这是您的意思-消费程序仅应在生成数据后启动,而不是在卡夫卡开箱即用后提供。您需要实现逻辑,以便在产生数据时启动kafka使用者。
如果您的消费者一直可以正常工作,它将继续以预定的时间间隔轮询Kafka代理以获取新消息。生产者生成数据后,民意调查将返回可以处理的消息。