卡夫卡消费者致力于某些主题,但并非全部

时间:2019-09-25 03:23:25

标签: apache-kafka kafka-consumer-api node-kafka

我正在设置Kafka,碰到一个订阅多个主题的消费者。我在conusmer-1组中有一个消费者正在听create_recorddetroy_recordupdate_recorddestroy_recordupdate_record正在接收消息,但create_record未接收任何消息。此外,destory_record两次收到该消息。奇怪的是,当我在终端中添加消费者时,我得到了create_record的记录和destroy_record的一条记录。

我认为我知道这个问题,但仍不确定。我有另一个后端服务订阅了相同的create_recorddetroy_recordupdate_record,但属于不同的consumer-2组。该服务从所有3个消息中获取消息就好了。

主题规格:

  • 复制因子= 3
  • 分类= 1
const Consumer = kafka.Consumer;
const client = new kafka.KafkaClient({
    kafkaHost: PLACEHOLDER_FOR_HOST_STRINGSx3,
    clientId: "service-1"
});

const topics = [{
    topic: "create_record"
}, {
    topic: "destroy_record"
}, {
    topic: "update_record"
}];

const options = {
    autoCommit: true,
    fetchMaxWaitMs: 1000,
    fetchMaxBytes: 1024 * 1024,
    encoding: 'buffer',
    groupId: 'consumer-1'
};

const consumer = new Consumer(client, topics, options);

...

0 个答案:

没有答案