Question

我正在尝试为节点中的应用程序设置Kafka队列。我在一个消费者组中有3个消费者，并且已订阅了一个主题，但是当生产者将消息发送到具有3个分区的主题时，该消费者组会收到重复的消息例如，消费者1从分区1读取并获取消息，消费者2也从相同的分区读取并获取相同消息。

我已经给出了git存储库的链接，该存储库包含所有可执行代码。我找不到设置问题吗？或节点包问题。

下面提供了用于创建消费者组的选项

    consumerOptions = {
          'kafkahost:'localhost:9092',
          groupId: groupName,
          autoCommit: true,
          autoCommitIntervalMs: 1000,
          sessionTimeout: 15000,
          fetchMaxBytes: 10 * 1024 * 1024, // 10 MB
          protocol: ['roundrobin'],
          fromOffset: 'earliest'
    };

    var consumer = new kafka.ConsumerGroup(Object.assign({ id: 'consumer1' }, consumerOptions), topicName);

plz请参考此链接以获取可执行代码，代理配置和zookeeper配置 https://github.com/Raghavendralacharya/kafka-node.git

Answer 1

尝试将fromOffset的配置更改为：

fromOffset: 'latest'

卡夫卡消费者组在卡夫卡节点中收到重复消息

1 个答案: