Question

我使用的是kafka 0.10.2，现在面临一个CommitFailedException。像：

由于该组已经重新平衡并且已经重新平衡，因此无法完成提交将分区分配给另一个成员。这意味着时间后续调用poll（）之间的时间比配置的长 max.poll.interval.ms，通常意味着poll循环花太多时间留言处理。你也可以解决这个问题通过增加会话超时或减少最大大小使用max.poll.records在poll（）中返回批次。

我已将max.poll.interval.ms设置为Integer.MAX_VALUE。所以任何人都可以告诉我为什么即使我设定了价值仍然会发生这种情况？

另一个问题是：我做的描述是将session.timeout.ms设置为60000并且它仍然会发生。我尝试通过简单的代码重现

 public static void main(String[] args) throws InterruptedException {     
        Logger logger = Logger.getLogger(KafkaConsumer10.class);
        logger.info("XX");
        Properties props = new Properties();
        props.put("bootstrap.servers", "kafka-broker:9098");
        props.put("group.id", "test");
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("max.poll.interval.ms", "300000");
        props.put("session.timeout.ms", "10000");
        props.put("max.poll.records", "2");
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("t1"));
        while (true) {
            Thread.sleep(11000);
            ConsumerRecords<String, String> records = consumer.poll(100);
            //Thread.sleep(11000);
            Thread.sleep(11000);
            for (ConsumerRecord<String, String> record : records)
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
        }

当我将session.timeout.ms设置为10000时，我尝试在我的轮询循环中睡眠超过10000毫秒，但它似乎工作并且没有异常输出。所以我对此感到困惑。如果heartbeat是由consumer.poll和consumer.commit触发的，那么我的代码中的心跳超出会话超时。为什么不抛出CommitFailedException？

Answer 1

嗨为此您需要在代码中处理重新平衡条件，并且应该处理正在进行的消息并在重新平衡之前提交它

喜欢：

private class HandleRebalance implements ConsumerRebalanceListener {
        public void onPartitionsAssigned(Collection<TopicPartition> partitions) {
            // Implement what you want to do once rebalancing is done.
        }

        public void onPartitionsRevoked(Collection<TopicPartition> partitions) {

           // commit current method

       }
    }

并使用此语法订阅主题：

kafkaConsumer.subscribe（topicNameList，new HandleRebalance（））

这样做的好处：

重新平衡时，不会重复消息。
没有提交失败异常领导异常

Answer 2

设置在消费者身上的

session.timeout.ms应小于Kafka经纪人设置的group.max.session.timeout.ms。

这解决了我的问题。

归功于github链接Commit Failures

CommitFailedException由于组已经重新平衡并将分区分配给另一个成员，因此无法完成提交

2 个答案: