Question

我已经通过遵循基本的kafka生产者文档为kafka生成器实现了一个日志追加器。我的配置如下所示，我使用KafkaProducer并使用send（）将每个日志发送到kafka。在我的情况下，我不能使用KafkaAppender，因为我们不支持slf4j或log4j。

如何批处理这些日志以及如何优化以下配置以处理大量日志。

Properties props = new Properties();
    props.put("bootstrap.servers", "ip:9092");
    props.put("acks", "all");
    props.put("retries", 0);
    props.put("batch.size", 16384);
    props.put("linger.ms", 1);
    props.put("buffer.memory", 33554432);
    props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
    props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Answer 1

增加linger.ms配置。此配置表示“即使批次尚未满，也会在此超时后发送消息”。在您的情况下，您的生产者每毫秒刷新数据，这就是您没有注意到任何“批处理”的原因。

使用kafka producer作为log appender

1 个答案: