最近,我们经常使用Java Kafka API遇到“来自SyncGroup的错误:请求超时”。
此问题通常发生在Kafka群集中的主题或消费者群体中。有没有人可以提供有关此错误的一些指示? 作为一种解决方法,如果我更改了使用者组名称,我看不到错误。 经纪人版本:0.9.0 Kafka客户端版本:0.9.0.1
Exception in thread "main" org.apache.kafka.common.KafkaException: Unexpected error from SyncGroup: The request timed out.
at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$SyncGroupRequestHandler.handle(AbstractCoordinator.java:444)
at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$SyncGroupRequestHandler.handle(AbstractCoordinator.java:411)
at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$CoordinatorResponseHandler.onSuccess(AbstractCoordinator.java:665)
at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$CoordinatorResponseHandler.onSuccess(AbstractCoordinator.java:644)
at org.apache.kafka.clients.consumer.internals.RequestFuture$1.onSuccess(RequestFuture.java:167)
at org.apache.kafka.clients.consumer.internals.RequestFuture.fireSuccess(RequestFuture.java:133)
at org.apache.kafka.clients.consumer.internals.RequestFuture.complete(RequestFuture.java:107)
at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient$RequestFutureCompletionHandler.onComplete(ConsumerNetworkClient.java:380)
at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:274)
答案 0 :(得分:1)
@ zer0Id0l
我们最近遇到了同样的问题。之所以会发生这种情况,是因为某些Kafka Streams消息的元信息占用空间不仅仅是常规消息(当您不使用Kafka Streams时)。要解决此问题,请转到 __ consumer_offsets 主题设置,并将 max.message.bytes 参数设置为高于默认值。例如,在我们的例子中,我们有 max.message.bytes = 20971520 。这将彻底解决您的问题。