Question

我正在为我的生产者之一使用以下kafka配置，功能正常。

props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "hostaddress:9092");
props.put(ProducerConfig.CLIENT_ID_CONFIG,"usertest");

props.put(ProducerConfig.ACKS_CONFIG, "all");
props.put(ProducerConfig.RETRIES_CONFIG, "3");

props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);
props.put(ProducerConfig.BATCH_SIZE_CONFIG, 1600);

但是我会随机收到超时异常，就像所有东西都工作了大约1个小时到2个小时一样，但是随后突然出现了超时异常，导致了很少的记录。在我的测试运行中，生产者发送了约2万消息，消费者获得了18978消息。

2019-09-24 13:45:43,106 ERROR c.j.b.p.UserProducer$1 [http-nio-8185-exec-13] Send failed for record ProducerRecord(topic=user_test_topic, partition=null, headers=RecordHeaders(headers = [], isReadOnly = false), key=UPDATE_USER, value=CreatePartnerSite [userid=3,  name=user123, email=testuser@gmail.com, phone=1234567890]], timestamp=null)
org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.
2019-09-24 13:45:43,107 ERROR c.j.b.s.UserServiceImpl [http-nio-8185-exec-13] failed to puplish

Answer 1

尝试将“ max.block.ms”生产者配置更新为超过60000ms。

Kafka生产者超时异常随机出现

1 个答案: