Question

我有一个非常慢的消费者，处理记录可能需要5分钟以上。我想避免的是卡夫卡重新稳定团队。为了从我的理解中做到这一点，我必须将以下属性设置为kafka代理：

  group.max.session.timeout.ms = 3600001 
  group.min.session.timeout.ms = 3600000

在我的应用程序端，我有以下配置：

    @Bean
      public Map<String, Object> consumerConfigs() {
        final Map<String, Object> propsMap = new HashMap<>();
        propsMap.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,
            environment.getProperty("app.kafkaBrokers"));
        propsMap.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, true);
        propsMap.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "100");
        propsMap.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, Integer.valueOf(environment.getProperty("app.session.timeout.ms")) );
        propsMap.put(ConsumerConfig.REQUEST_TIMEOUT_MS_CONFIG, Integer.valueOf(environment.getProperty("app.session.timeout.ms")) + 1 );
        propsMap.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        propsMap.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        propsMap.put(ConsumerConfig.GROUP_ID_CONFIG, "group1");
        propsMap.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
        return propsMap;
      }

@Bean
  KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String, String>> kafkaListenerContainerFactory() {
    final ConcurrentKafkaListenerContainerFactory<String, String> factory =
        new ConcurrentKafkaListenerContainerFactory<>();
    factory.setConsumerFactory(consumerFactory());
    factory.setConcurrency(9);// was 3
    factory.getContainerProperties().setPollTimeout(3000);
    return factory;
  }

在我的听众中我也有：

 @KafkaListener(id = "baz", topics = "tipJobsForExecution", containerFactory="kafkaListenerContainerFactory")
  public void listen(ConsumerRecord<?, ?> record)

我的监听器大约需要5分钟来处理这些消息。一旦完成，我就在kafka经纪人那边阅读以下内容：

2018-05-03 10：29：11,210] INFO [GroupCoordinator 0]：准备与旧一代22（__consumer_offsets-7）重新平衡集团巴兹（kafka.coordinator.group.GroupCoordinator）

根据我的理解，卡夫卡认为消费者死了，并重新平衡了这个群体。我的问题是为什么会发生这种情况？我的一个想法是，心跳可能不会每隔3000毫秒心跳，但我不知道它有多麻烦。

提前致谢， Giannis

Answer 1

您必须了解Kafka使用者的三种类型的超时配置参数。

heartbeat.interval.ms - 使用Kafka的群组管理工具时，心跳与消费者协调员之间的预计时间。通常应该是session.timeout值的1/3默认值 - 3000 ms

session.timeout.ms - 如果代理在此会话超时到期之前未收到心跳，则代理将从该组中删除此使用者并启动重新平衡。默认值10000

max.poll.interval.ms - 如果在此超时到期之前未调用poll（），则认为使用者失败并且该组将重新平衡默认值 - 300000

在您的情况下，轮询间隔似乎设置得太低。

参考 - https://kafka.apache.org/documentation/#newconsumerconfigs

使用春天卡夫卡消费者的kafka restabilizing group

1 个答案: