Kafka消费者消息处理问题

时间:2021-02-05 10:05:02

标签: python apache-kafka confluent-kafka-python

我使用的是 confluent Kafka 5.5.1 版本,我的消费者是用 python 编写的 confluent-kafka 1.0.0。我的消费者应用程序在 k8s 平台上运行,并在其中扩展了 4 个 pod。还创建了一个具有 10 个分区的 Kafka 主题和一个以特定间隔生成消息的生产者应用程序。 我注意到有时 2 个消费者(那些在相同的组 ID 下)在与 kafka 相差几毫秒内消耗相同的消息(来自相同的分区和相同的偏移量)。

我不明白为什么 2 个消费者阅读相同的消息。按照 kafka 的概念,每个消费者都将与主题中的一个分区相关联,每个分区将处理不同的消息。

消费者日志示例:

消费者 1:从 kafka-topic1/1/100:message1 接收

消费者 2:从 kafka-topic1/1/100:message1 接收

0 个答案:

没有答案