Question

我正在使用spring kafka开发一个Spring boot应用程序，该应用程序侦听kafka的单个主题，然后隔离各个类别的记录，从中创建一个json文件，并将其上传到AWS S3。

我在Kafka主题中收到大量数据，我需要确保将json文件适当地分块以限制上传到S3的json的数量。

下面是我的application.yml配置，用于kafka用户。

spring:
  kafka:
    consumer:
      group-id: newton
      auto-offset-reset: earliest
      fetch-max-wait: 
        seconds: 1 
      fetch-min-size: 500000000
      max-poll-records: 50000000
      value-deserializer: com.forwarding.application.consumer.model.deserializer.MeasureDeserializer

我创建了一个侦听器，用于连续读取主题。

即使采用上述配置，我仍会在控制台中收到如下记录：

   2019-03-27T15:25:56.02+0530 [APP/PROC/WEB/0] OUT 2019-03-27 09:55:56.024  INFO 8 --- [ntainer#0-0-C-1] c.s.n.f.a.s.impl.ConsumerServiceImpl     : Time taken(ms) 56. No Of measures: 60
   2019-03-27T15:25:56.21+0530 [APP/PROC/WEB/2] OUT 2019-03-27 09:55:56.210  INFO 8 --- [ntainer#0-0-C-1] c.s.n.f.a.s.impl.ConsumerServiceImpl     : Time taken(ms) 80. No Of measures: 96
   2019-03-27T15:25:56.56+0530 [APP/PROC/WEB/0] OUT 2019-03-27 09:55:56.560  INFO 8 --- [ntainer#0-0-C-1] c.s.n.f.a.s.impl.ConsumerServiceImpl     : Time taken(ms) 76. No Of measures: 39
   2019-03-27T15:25:56.73+0530 [APP/PROC/WEB/2] OUT 2019-03-27 09:55:56.732  INFO 8 --- [ntainer#0-0-C-1] c.s.n.f.a.s.impl.ConsumerServiceImpl     : Time taken(ms) 77. No Of measures: 66

任何人都可以让我知道如何根据application.yml中的配置进行配置以获取接收到的记录吗？

Answer 1

我只是复制了您的配置（最大等待时间除外-请参见我使用的语法），并且工作正常...

spring:
  kafka:
    consumer:
      group-id: newton
      auto-offset-reset: earliest
      fetch-max-wait: 1s
      fetch-min-size: 500000000
      max-poll-records: 50000000

2019-03-27 13:43:55.454  INFO 98982 --- [           main] o.a.k.clients.consumer.ConsumerConfig    : ConsumerConfig values: 
    auto.commit.interval.ms = 5000
    auto.offset.reset = earliest
    bootstrap.servers = [localhost:9092]
    check.crcs = true
    client.id = 
    connections.max.idle.ms = 540000
    default.api.timeout.ms = 60000
    enable.auto.commit = true
    exclude.internal.topics = true
    fetch.max.bytes = 52428800
    fetch.max.wait.ms = 1000
    fetch.min.bytes = 500000000
    group.id = newton
    heartbeat.interval.ms = 3000
    interceptor.classes = []
    internal.leave.group.on.close = true
    isolation.level = read_uncommitted
    key.deserializer = class org.apache.kafka.common.serialization.StringDeserializer
    max.partition.fetch.bytes = 1048576
    max.poll.interval.ms = 300000
    max.poll.records = 50000000
    ...

使用...properties属性，将不直接支持的任意属性设置为引导属性。

例如

spring:
  kafka:
    consumer:
      properties:
        max.poll.interval.ms: 300000

或

spring:
  kafka:
    consumer:
      properties:
         max:
           poll:
             interval:
               ms: 300000

documentation is here。

自动配置支持的属性显示在附录A，通用应用程序属性中。请注意，在大多数情况下，这些属性（连字符或camelCase）直接映射到Apache Kafka点缀的属性。有关详细信息，请参阅Apache Kafka文档。

这些属性的前几个属性适用于所有组件（生产者，消费者，管理员和流），但是如果您希望使用不同的值，则可以在组件级别指定。 Apache Kafka指定重要性为HIGH，MEDIUM或LOW的属性。 Spring Boot自动配置支持所有HIGH重要性属性，一些选定的MEDIUM和LOW属性以及所有没有默认值的属性。

仅可通过KafkaProperties类直接获得Kafka支持的属性的子集。如果希望使用不直接支持的其他属性来配置生产者或使用者，请使用以下属性：

spring.kafka.properties.prop.one=first

spring.kafka.admin.properties.prop.two=second

spring.kafka.consumer.properties.prop.three=third

spring.kafka.producer.properties.prop.four=fourth

spring.kafka.streams.properties.prop.five=fifth

提取kafka的最小尺寸和最大轮询记录无法按预期方式运行

1 个答案: