需要Kafka消费者批量获取数据

时间:2016-12-06 07:36:46

标签: apache-kafka kafka-consumer-api

我搜索了Kafka批量消费者,但我没有找到任何有价值的信息。

使用案例

制片人将非常频繁地制作数据,而在消费者网站,我们将消费数据,并从消费者和我们将向Facebook和Google发布数据,这些数据可以发布数据限制。

让我知道是否有可能暂停消费者在特定时间消费数据,直到其他API消费来自消费者的数据。

注意:这可以通过风暴轻松实现,但我不是在寻找这个解决方案。我们也可以在kafka中配置字节大小,但这不符合目的。

1 个答案:

答案 0 :(得分:0)

有几种方法可以做到这一点:

选项#1:使用一个处理所有数据消耗的消费者线程,并将消息移交给工作线程池使用的阻塞队列。在给药时,您可以轻松扩展工人流程和消费者。但在这种情况下,偏移提交管理会稍微困难一些。

选项#2:只需调用KafkaConsumer.pause()和KafkaConsumer.resume()方法暂停和继续从特定分区中获取以实现自己的逻辑。