增加kafka的吞吐量

Question

我正在从CSV文件中读取数据并使用Java代码将其推送到3个Kafka代理中。

但是，我只获得5个消息/秒作为吞吐量，而我的期望是大约200个消息/秒

我正在使用异步模式来推送数据

下面是我的producer.properties

buffer.memory: 100000000 
batch.size: "3276800"
linger.ms: "5" 
compression.type: lz4 
retries: default 
send.buffer.bytes: 10458760  
connections.max.idle.ms: 10000

任何帮助都将深表感谢。

感谢。

Answer 1

为什么要编写代码来执行此操作？只需使用Kafka Connect（Apache Kafka的一部分）和https://github.com/jcustenborder/kafka-connect-spooldir，其中包括对CSV文件的支持。这可能会更好，并且更容易维护，部署等。