批量消息的消费者偏移更新需要示例

时间:2015-04-09 12:01:23

标签: apache-kafka

我希望我的消费者在收到总大小为10MB的消息时更新ZK有关其偏移的信息。

有没有办法在我获得10MB消息后自定义我的消费者以更新偏移量?

1 个答案:

答案 0 :(得分:0)

首先,将auto.commit.enable属性设置为false以禁用使用者的自动提交行为。然后将您到目前为止所获得的消息的大小保持为某个变量,如果它达到10MB,则使用ConsumerConnector接口的commitOffsets方法提交偏移量。然后将更新ZK中的偏移量。之后将size变量重置为0.