我搜索了Kafka批量消费者,但我没有找到任何有价值的信息。
使用案例
制片人将非常频繁地制作数据,而在消费者网站,我们将消费数据,并从消费者和我们将向Facebook和Google发布数据,这些数据可以发布数据限制。
让我知道是否有可能暂停消费者在特定时间消费数据,直到其他API消费来自消费者的数据。
注意:这可以通过风暴轻松实现,但我不是在寻找这个解决方案。我们也可以在kafka中配置字节大小,但这不符合目的。
答案 0 :(得分:0)
有几种方法可以做到这一点:
选项#1:使用一个处理所有数据消耗的消费者线程,并将消息移交给工作线程池使用的阻塞队列。在给药时,您可以轻松扩展工人流程和消费者。但在这种情况下,偏移提交管理会稍微困难一些。
选项#2:只需调用KafkaConsumer.pause()和KafkaConsumer.resume()方法暂停和继续从特定分区中获取以实现自己的逻辑。