Question

我正在创建消费者（其中包含单个消费者的消费者群体）：

    Properties properties = new Properties();
    properties.put("zookeeper.connect","localhost:2181");
    properties.put("auto.offset.reset", "largest");
    properties.put("group.id", groupId);
    properties.put("auto.commit.enable", "true");
    ConsumerConfig consumerConfig = new ConsumerConfig(properties);
    ConsumerConnector consumerConnector = Consumer.createJavaConsumerConnector(consumerConfig);
    Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap = consumerConnector.createMessageStreams(topicCountMap);
    consumerMap.entrySet().stream().forEach(
                streams -> {
                    streams.getValue().stream().forEach(
                                stream -> {
                                    KafkaBasicConsumer customConsumer = new KafkaBasicConsumer();                               
                                    try {
                                        Future<?> consumerFuture = kafkaConsumerExecutor.submit(customConsumer);

                                        kafkaConsumersFuture.put(groupId, consumerFuture);                                                                  
                                    } catch (Exception e) {
                                        logger.error("---- Got error : "+ e.getMessage());
                                        logger.error("Exception : ", e);
                                    }
                                }
                            );
                }
            );

我已为同一主题订阅了2位消费者。我通过存储其未来对象然后调用来取消订阅消费者 consumerFuture.cancel（Boolean.TRUE）;

现在我再次使用上面的代码订阅同一个消费者，并且它已成功注册。但是，当发布者现在发布新订阅的消费者时没有收到消息，而已注册的其他消费者正在收到消息

我也在检查消费者的偏移量，当生产者发布但消费者没有收到消息时，他们会得到更新。在制作之前：

组主题Pid Offset logSize Lag

A T1 0 94 94 1

组主题Pid Offset logSize Lag

B T1 0 94 94 1

制作完成后：

组主题Pid Offset logSize Lag

A T1 0 95 97 2

组主题Pid Offset logSize Lag

B T1 0 94 97 2

我无法弄清楚如果这是生产者方面的问题（分区不够），或者我是否以不正确的方式创建了消费者另外，我无法弄清楚log和lag列的含义是什么。

如果有人可以提供帮助或需要更多详细信息，请与我们联系。

Answer 1

我发现解决了我的问题，感谢@nautilus提醒更新。

我的主要目的是提供端点来订阅和取消订阅kafka中的消费者。由于kafka只提供订阅而不是取消订阅（只能手动完成），我不得不在kafka实现上编写层。

我将使用者对象存储在一个静态地图中，其中key作为组ID（因为我的使用者组只能有一个使用者）

问题是，当取消订阅时，我没有关闭消费者，而具有相同组ID的旧消费者阻止新消息获取消息

private static Map kafkaConsumersFuture

根据某些参数，找出组ID

    kafkaConsumersFuture.put(groupId, consumerConnector);

虽然我没有取消订阅

    ConsumerConnector consumerConnector = kafkaConsumersFuture.get(groupId);
    if(consumerConnector!=null) {

        consumerConnector.shutdown();
        kafkaConsumersFuture.remove(groupId);
    }

我是卡夫卡的新手。我正在创建的消费者没有收到生产者发布的消息

1 个答案: