Apache Kafka带有Spring Boot - 消息批量大小约为7337

Question

我正在测试安装在AWS实例上的Kafka，其中消费者（基于Java）始终获得7,337批邮件，但不多。

我应该查看哪些配置选项，以便了解我是否可以将这些批次放大？它设置为25,000但实际上从未实现过。制作人几乎立刻就会减少1,000,000条记录，所以现在它取决于消费者。

目前我的消费者将被设置为：

• ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG = false
• ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG = 100
• ConsumerConfig.AUTO_OFFSET_RESET_CONFIG =最早
• ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG = 15000
• ConsumerConfig.MAX_POLL_RECORDS_CONFIG = 25000
• 并发：5
• 轮询超时毫秒：10,000

消费者的注释非常基础。

@Component
public class MyConsumer {

  @KafkaListener (id = "datastore-ictx", topics = "datastore-ictx")
  public void receive(List<String> batch) {
    // do stuff...
  }
}