Question

我有一个简单的主题，一个简单的Kafka消费者和制作人，使用默认配置。

程序非常简单，我有两个线程。

在生产者中，它不断发送16个字节的数据。

在消费者方面，它一直在接收。

我发现生产商的吞吐量大约是10MB / s，这很好。

但消费者的吞吐量仅为0.2MB / s。我已经禁用了所有的调试日志，但这并没有让它变得更好。测试在本地计算机上运行。什么机构都知道出了什么问题？谢谢！

我使用的代码如下：生产者：

KafkaProducer producer = new KafkaProducer(props);
int size = 16;
byte[] payload = new byte[size];
String key = "key";
Arrays.fill(payload, (byte) 1);
ProducerRecord record = new ProducerRecord("test",0,key.getBytes(),payload);
while(true){
producer.send(record);
}

消费者：

Properties consumerProps = new Properties();
consumerProps.put("zookeeper.connect", "localhost:2181");
consumerProps.put("group.id", "test");
ConsumerConnector consumer = Consumer.createJavaConsumerConnector(new ConsumerConfig(consumerProps));
Map<String, Integer> topicCountMap = new HashMap<String, Integer>();
topicCountMap.put("test", 1);
Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap = consumer.createMessageStreams(topicCountMap);
List<KafkaStream<byte[], byte[]>> streams = consumerMap.get("test");
ConsumerIterator<byte[], byte[]> it = streams.get(0).iterator();
while(it.hasNext()){
    it.next().message();
}

Answer 1

尝试使用以下属性配置使用者。

fetch.min.bytes
fetch.max.wait.ms
max.partition.fetch.bytes

此外，您可以调整poll()方法的超时参数以提高吞吐量。

ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));

为什么Kafka消费者表现缓慢？

1 个答案: