卡夫卡消费者很少丢失信息

时间:2020-07-23 10:55:52

标签: apache-kafka

我的消费者总是丢失一些信息。但是在处理过程中没有发生异常或错误。 要解决此问题,我将ack-mode修改为manual_immediate,并将auto-commit设置为false,但是没有任何改善。 帮我找到这些令人讨厌的bug plz!

BTW:我在spring-boot中使用kafka,spring boot版本是2.2.0.RELEASE,spring-kafka版本是2.3.1.RELEASE,kafka版本是2.2.0

有配置:

    producer:
      retries: 0
      batch-size: 16384
      buffer-memory: 33554432
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      group-id: xxx
      auto-offset-reset: earliest
      enable-auto-commit: false
      auto-commit-interval: 100ms
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      max-poll-records: 100
    listener:
      concurrency: 48
      type: batch
      ack-mode: manual_immediate

0 个答案:

没有答案