Question

我正在使用spring kafka，并且希望在应用程序yaml中提到多个消费者groupId，这些名称可以在我正在监听多个主题的kafkaListener类中使用。

我的application.yml文件中的kafka属性现在看起来像这样

kafka:
    properties:
      topics:
        topic1: topic1
        topic2: topic2
    bootstrap-servers: server1,server2
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.springframework.kafka.support.serializer.JsonSerializer
      retries: 4
    consumer:
      group-id: mygroupid
      auto-offset-reset: latest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

是否可以在上面的使用者块中具有多个groupID。

或者，我在春季代码中的kafkaListener中给了不同的groupID如下，我不确定如何设置其余属性，例如自动偏移重置，键解串器等：

 @KafkaListener(topics = "topic1",  groupId = "cd1")
  public void consumeMessage(String message) throws Exception {
    // some code goes here
  }

请让我知道如何完成我想做的事情，因为我是kafka的新手。

Answer 1

引导仅自动配置yml中的一个DefaultKafkaConsumerFactory和DefaultKafkaConsumerFactory，因此所有属性在所有使用者之间共享。这就是为什么我们添加groupId（如果未提供id则使用groupId的原因）；这是消费者之间最常见的属性。

您当然可以使用属性占位符，因此groupId = "${group.one}"将使用yml中的属性group.one。

要更改更基本的东西，例如序列化器/反序列化器，如果使用的版本早于2.2.4，则需要创建多个工厂和容器工厂。

但是，从版本2.2.4开始，您现在可以在KafkaListener批注中设置任意kafka消费者属性...

/**
 * Kafka consumer properties; they will supersede any properties with the same name
 * defined in the consumer factory (if the consumer factory supports property overrides).
 * <h3>Supported Syntax</h3>
 * <p>The supported syntax for key-value pairs is the same as the
 * syntax defined for entries in a Java
 * {@linkplain java.util.Properties#load(java.io.Reader) properties file}:
 * <ul>
 * <li>{@code key=value}</li>
 * <li>{@code key:value}</li>
 * <li>{@code key value}</li>
 * </ul>
 * {@code group.id} and {@code client.id} are ignored.
 * @return the properties.
 * @since 2.2.4
 * @see org.apache.kafka.clients.consumer.ConsumerConfig
 * @see #groupId()
 * @see #clientIdPrefix()
 */
String[] properties() default {};

请注意，这些属性采用本机kafka点分格式（auto.offset.reset），而不是连字号或驼峰式保护套属性。

下面是the documentation的示例：

@KafkaListener(topics = "myTopic", groupId="group", properties= {
    "max.poll.interval.ms:60000",
    ConsumerConfig.MAX_POLL_RECORDS_CONFIG + "=100"
})

同样，这些值可以是属性占位符。

在生产者方面，您仍然需要多个工厂。

如何在应用程序属性中具有多个kafka用户组

1 个答案: