Question

注意到一个问题，其中Kafka消费者群体（在java中实现）始终错过来自经纪人的一些消息。作为调试的第一线，通过kafka console consumer，我可以在代理中看到这些消息。

Kafka经纪人版本：0.10.1.0

Kafka客户端版本：

<dependency>
  <groupId>org.apache.kafka</groupId>
  <artifactId>kafka_2.11</artifactId>
  <version>0.9.0.1</version>
</dependency>

Kafka消费者配置：

Properties props = new Properties();
props.put("bootstrap.servers","broker1,broker2,broker3");
props.put("group.id", "myGroupIdForDemo");
props.put("key.deserializer", StringDeserializer.class.getName());
props.put("value.deserializer", StringDeserializer.class.getName());
props.put("heartbeat.interval.ms", "25000"); 
props.put("session.timeout.ms", "30000"); 
props.put("max.poll.interval.ms", "300000");
props.put("max.poll.records", "1");
props.put("zookeeper.session.timeout.ms", "120000");
props.put("zookeeper.sync.time.ms", "10000");
props.put("auto.commit.enable", "false");
props.put("auto.commit.interval.ms", "60000");
props.put("auto.offset.reset", "earliest");
props.put("consumer.timeout.ms", "-1");
props.put("rebalance.max.retries", "20");
props.put("rebalance.backoff.ms", "6000");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

编辑 - 添加更多信息

我想添加更多信息：共有6个分区。但是，具有相同消费者组ID的主题的消费者总数为40。我确实理解有34位消费者闲着无所事事。

但是，我想要了解的一个方面是，如果消费者未能将代理发送的心跳发送到负载并重新分配分区，那么任何空闲消费者是否都有机会消费消息？此消息未被消耗的问题始终仅在某些分区中被注意到。我的意思是消息无法从同一分区传递/消费。

感谢任何帮助。感谢。

Answer 1

a）即使在Kafka中也可能不存在消息 - 在这种情况下检查消息大小是否超过kafka经纪人配置中允许的最大消息大小。

b）如果您的消费者连接到Kafka实例1和2-d实例未连接，您可能会错过来自2-d kafka的消息：因此，请指定消费者连接字符串中的所有代理。

3）如果kafka上存在消息并且你连接了，你可能无法反序列化消息，所以，尝试另一个反序列化器，可能不是字符串，但是bytearray one并看看会发生什么，消息会消耗吗？如果是，转换为字符串是有问题的。

4）消息可能被窃取＆＃34;由另一个工作的消费者，在相同的组ID下工作，选择唯一的组ID。

5）你使用什么记录器来查看消费消息？难道你不怀疑它是记录器问题吗？

6）可能是你在消费所有消息之前杀死/停止消费者？

7）可能是你消费，但由于消费者记忆限制而失败？我会增加-Xmx。（堆大小）

Java Kafka使用者组无法使用一些消息

1 个答案: