Question

kafka重新启动后，spring-boot消费者微服务无法将消息发送到主题。

使用docker swarm配置，我设置了具有1个kafka代理和2个spring boot micro-services（生产者和消费者）的单节点集群。我正在使用Spring Boot 2.0.3

消费者和生产者（春季启动微服务）在同一覆盖网络“ net-broker”上，因此他们使用服务名称“ kafka：9092”访问kafka。
一切都很正常。
然后仅重新启动kafka，此后，消费者将无法再从kafka主题发送消息。
kafka服务由于docker-compose.yml的微小变化而重新启动（例如max_attempts：3 => max_attempts：4）

docker-compose.yml文件

kafka:
    image: wurstmeister/kafka:2.12-2.2.0
    depends_on:
      - zookeeper
    networks:
      - net-broker
    deploy:
      replicas: 1
      update_config:
        parallelism: 1
        delay: 10s
      restart_policy:
        condition: on-failure
        max_attempts: 3
    # ports:
    #   - target: 9094
    #     published: 9094
    #     protocol: tcp
    #     mode: host
    environment:
      HOSTNAME_COMMAND: "echo ${HOST_IP:-192.168.99.100}"
      KAFKA_CREATE_TOPICS: "gnss-topic-${GNSS_TAG}:3:1"
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: INSIDE://:9092,OUTSIDE://_{HOSTNAME_COMMAND}:9094
      KAFKA_LISTENERS: INSIDE://:9092,OUTSIDE://:9094
      KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE
      BROKER_ID_COMMAND: "echo 101"
      KAFKA_LOG_DIRS: "/kafka/kafka-logs"
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - kafka-data:/kafka

KafkaProducerConfig类

@Bean
  public ProducerFactory<String, GNSSPortHolderDTO> producerFactory() {
    Map<String, Object> configProps = new HashMap<>();

    configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, gnssConfig.getKafkaBootstapServers());

    // high throughput producer (at the expense of a bit of latency and CPU usage)
    configProps.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "snappy");
    configProps.put(ProducerConfig.LINGER_MS_CONFIG, "20");
    configProps.put(ProducerConfig.BATCH_SIZE_CONFIG, Integer.toString(32*1024)); // 32 KB batch size

    // serializers
    configProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
    configProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, JsonSerializer.class);

    return new DefaultKafkaProducerFactory<>(configProps);
  }

kafka重新启动后，Spring Boot生产者日志：

org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for gnss-topic-11.2.1-B5607-1: 30030 ms has passed since batch creation plus linger time

kafka重新启动后的Spring Boot使用者日志：

gnss_data-access.1.ll948jogpqil@GDN-S-GNSS2    | 2019-05-08 09:42:33.984  INFO 1 --- [ gnss-view-data] o.a.k.c.c.internals.AbstractCoordinator  : [Consumer clientId=consumer-1, groupId=gnss-view-data] Marking the coordinator fe7091944126:9092 (id: 2147483546 rack: null) dead

我正在将'spring-kafka-2.1.7.RELEASE.jar'库用于生产者/消费者微服务

使用远程调试模式，我了解到使用者正在尝试将消息发送到旧的“已终止”容器ID，而不是使用服务名称“ kafka：9092”。我不知道为什么。

Answer 1

我找到了解决此问题的方法。

提醒一下：

只能从Docker net-broker 的覆盖虚拟网络访问Kafka。
出于安全原因，不应从Docker主机IP访问Kafka

KAFKA_ADVERTISED_LISTENERS环境变量中的以下更改解决了该问题

旧值（重启后不起作用）： KAFKA_ADVERTISED_LISTENERS: INSIDE://:9092,OUTSIDE://_{HOSTNAME_COMMAND}:9094

新值（重启后有效）： KAFKA_ADVERTISED_LISTENERS: INSIDE://kafka:9092,OUTSIDE://_{HOSTNAME_COMMAND}:9094

因此解决方法是为INSIDE公告侦听器指定kafka服务名称kafka:9092。

问题在于，即使将Spring Boot生产者配置为使用kafka:9092

configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, kafka:9092);

生产者实际上是使用kafka容器ID进行通信，而不是使用服务名kafka:9092，因此，在kafka重新启动后，创建了一个新容器（新容器ID），但生产者仍指向旧容器ID

Kafka重启后，Spring Boot生产者无法发送任何消息

1 个答案: