Question

提供了一个包含n个分区的主题。有没有什么方法可以让Spring的KafkaConsumer监听器一次性监听来自同一个/一个分区的多条消息？

我通过设置ConcurrentKafkaListenerContainerFactory尝试了setBatchListener(true);，但是消费者已经开始使用来自不同分区而不是一个分区的多条消息。

public class BatchReceiverConfig {

    @Value("${kafka.bootstrap-servers}")
    private String bootstrapServers;

    @Bean
    public Map<String, Object> consumerConfigs() {
        Map<String, Object> props = new HashMap<>();

        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "batch4");
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        // maximum records per batch receive
        props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, "10");

        return props;
    }

    @Bean
    public ConsumerFactory<String, String> consumerFactory() {
        return new DefaultKafkaConsumerFactory<>(consumerConfigs());
    }

    @Bean
    public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() {
        ConcurrentKafkaListenerContainerFactory<String, String> factory =
                new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());
        factory.setConcurrency(2);
        // enable batch listeners
//        factory.setBatchListener(true);

        return factory;
    }

    @Bean
    public BatchReceiver receiver() {
        return new BatchReceiver();
    }
}


/* Listener */
@KafkaListener(id = "batch-listener", topics = TOPIC_TEST_BATCH)
    public void receive(List<String> data,
                        @Header(KafkaHeaders.RECEIVED_PARTITION_ID) List<Integer> partitions,
                        @Header(KafkaHeaders.OFFSET) List<Long> offsets) {

        LOGGER.info("start of batch receive");
        for (int i = 0; i < data.size(); i++) {
            LOGGER.info("received message='{}' with partition-offset='{}'", data.get(i),
                    partitions.get(i) + "-" + offsets.get(i));
            // handle message

            latch.countDown();
        }
        LOGGER.info("end of batch receive");
    }

Answer 1

如果组中只有一个消费者，那么您可以将$(function () { // Fix input element click problem $('.dropdown input').click(function (e) { e.stopPropagation(); }); });的{{1}}设置为concurrencyLevel。

Answer 2

如果您使用群组管理，Kafka会为您的消费者分配分区。每个使用者（或使用并发时的线程）将获得0,1或更多分区，具体取决于消费者和分区的数量。

如果您希望特定的消费者只从一个分区获取消息，您必须自己分配分区，而不是让Kafka进行分配。

如果使用并发容器;你必须分配与并发相同数量的分区，因此每个线程只能获得一个分区。

一个Spring的KafkaConsumer监听器可以监听来自同一个/一个分区的多条消息吗？

2 个答案: