Question

我们在项目中使用的是Spring Kafka 2.1.4.RELEASE版本，我们具有以下配置：

@EnableKafka
public class KafkaConfig {

    @Value("${spring.kafka.bootstrap-servers}")
    private String bootstrapServers;

    @Configuration
    class ProducerConfig {
        @Bean
        public Map<String, Object> producerConfigs() {
            Map<String, Object> props = new HashMap<>();
            props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
            props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
            props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, ASerializer.class);
            return props;
        }

        @Bean
        public ProducerFactory<String, A> producerFactory() {
            return new DefaultKafkaProducerFactory<>(producerConfigs());
        }

        @Bean
        public KafkaTemplate<String, A> kafkaTemplate() {
            return new KafkaTemplate<>(producerFactory());
        }
    }

    @Configuration
    class ConsumerConfig {
        @Value("${spring.kafka.consumer.group-id}")
        private String groupId;
        @Value("${spring.kafka.consumer.auto-offset-reset}")
        private String autoOffsetReset;
        @Value("${spring.kafka.consumer.enable-auto-commit}")
        private boolean enableAutoCommit;
        @Value("${spring.kafka.consumer.max-poll-records}")
        private Integer maxPollRecords;

        @Bean
        public Map<String, Object> firstConsumerConfig() {
            Map<String, Object> props = getCommonConsumerConfig();
            props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
            props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, ADeserializer.class);
            return props;
        }

        @Bean
        public Map<String, Object> secondConsumerConfig() {
            Map<String, Object> props = getCommonConsumerConfig();
            props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
            props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, BDeserializer.class);
            return props;
        }

        @Bean
        public ConsumerFactory<String, A> firstConsumerFactory() {
            return new DefaultKafkaConsumerFactory<>(firstConsumerConfig());
        }

        @Bean
        public KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String, A>> firsttContainerFactory() {
            ConcurrentKafkaListenerContainerFactory<String, A> factory = new ConcurrentKafkaListenerContainerFactory<>();
            factory.setConsumerFactory(firstConsumerFactory());
            return factory;
        }

        @Bean
        public ConsumerFactory<String, B> secondConsumerFactory() {
            return new DefaultKafkaConsumerFactory<>(secondConsumerConfig());
        }

        @Bean
        public KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String, B>> outputTopicContainerFactory() {
            ConcurrentKafkaListenerContainerFactory<String, B> factory = new ConcurrentKafkaListenerContainerFactory<>();
            factory.setConsumerFactory(secondConsumerFactory());
            return factory;
        }


        private Map<String, Object> getCommonConsumerConfig() {
            Map<String, Object> props = new HashMap<>();
            props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
            props.put(ConsumerConfig.GROUP_ID_CONFIG, groupId);
            props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, autoOffsetReset);
            props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, enableAutoCommit);
            props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, maxPollRecords);
            return props;
        }
    }
}

因此，您可以看到我们使用2个消费工厂。我们有以下消费者类别：

@ConfigurationProperties
@Service
public class Listener {

    @KafkaListener(containerFactory = "firstContainerFactory", topics = "someTopic")
    public void firstListener(@Payload A first) {
        //some logic
    }

    @KafkaListener(containerFactory = "secondContainerFactory", topics = {
     //topic list       
    })
    public void secondTopicListener(@Payload B second) {
       //some logic

    }


}

因此，我们在启动此应用程序时注意到的是，该应用程序始终未同时连接到这两个主题。有时，它仅与第二个主题或仅与第一个主题相关，并且可能与第一个和第二个主题相关（这是正确的）。所以，请您帮忙了解在这里配置错误的内容吗？

Answer 1

通常，最佳做法是将每个侦听器放在不同的group.id中（您可以在groupId上使用@KafkaListener属性，该属性将覆盖消费者工厂）。否则，当第二个开始时，将导致第一个重新平衡。当前的2.1.x版本是2.1.10。

Answer 2

好吧，经过更多的调查，我能够确定我这边发生了什么问题。因此，基本上，我们有一个包含多个主题的消费者组。因此，在我的情况下，每个主题都有0个分区（据我了解，没有分区，并且我们使用1个队列的主题进行操作）。因此，当我连接到该kafka实例时-所有消费者都连接到这些主题，但是当有人也连接到该主题（可能是我的同事）时，正在发生重新平衡，他开始听这些主题之一而不是我（由于每个分区只能出现一个消费者的事实。

Kafka 2消费工厂侦听器无法持续连接

2 个答案: