nodejs- kafka-node模块 - 从每个分区获取相同的消息

时间:2016-06-14 08:55:21

标签: node.js apache-kafka apache-zookeeper

我正在使用节点模块" kafka-node"创建一个kafa消费者:

LimitLine

发生的情况是从分区0检索一次相同的偏移量,然后从分区1检索。 我所期待的是ZooKeeper将知道如何平衡和管理它。

注意: 该用例是从Kafka的任何可用消息中读取 - >写入弹性搜索 - >承诺Kafka(这就是为什么autocommit设置为false)

1 个答案:

答案 0 :(得分:1)

每个分区都有自己的偏移量并包含不同的数据。因此,如果从分区0收到偏移为零的消息,并且从分区1收到偏移为零的消息,则它是两个不同的消息。同样在提交时,所有分区的偏移量都是独立存储的。