轮询时,kafka连接被消费者群体线程拒绝

时间:2017-10-26 10:51:36

标签: apache-kafka kafka-consumer-api

创建了一个kafka主题X和Y,每个主题有2个分区和1个副本。它运行在1个名为" kafka"链接到第二个容器" zookeeper"

有两个Java进程(maven模块)与完全相同版本的kafka-client连接到运行在9092和zookeeper上的kafka容器。

两个JVM都成功连接到kafka,并且两者都能够检查主题是否存在。但是,一个JVM也能够成功注册一个消费者组,而第二个JVM无法注册消费者组。

在连接被拒绝的情况下轮询到kafka时,消费者线程(配置为单线程)失败。有两个独特的主题和两个独特的消费者群体。

如果需要有来自不同JVM的2个消费者群体,我是否需要两个经纪人,即两个kafka容器?

! java.net.ConnectException: Connection refused
! at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) ~[na:1.8.0_144]
! at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) ~[na:1.8.0_144]
! at org.apache.kafka.common.network.PlaintextTransportLayer.finishConnect(PlaintextTransportLayer.java:51) ~[app.jar:1.5.0.0-SNAPSHOT]
! at org.apache.kafka.common.network.KafkaChannel.finishConnect(KafkaChannel.java:73) ~[app.jar:1.5.0.0-SNAPSHOT]
! at org.apache.kafka.common.network.Selector.pollSelectionKeys(Selector.java:323) [app.jar:1.5.0.0-SNAPSHOT]
! at org.apache.kafka.common.network.Selector.poll(Selector.java:291) [app.jar:1.5.0.0-SNAPSHOT]
! at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:260) [app.jar:1.5.0.0-SNAPSHOT]
! at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.poll(ConsumerNetworkClient.java:232) [app.jar:1.5.0.0-SNAPSHOT]
! at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.poll(ConsumerNetworkClient.java:180) [app.jar:1.5.0.0-SNAPSHOT]
! at org.apache.kafka.clients.consumer.internals.AbstractCoordinator.ensureCoordinatorReady(AbstractCoordinator.java:193) [app.jar:1.5.0.0-SNAPSHOT]
! at org.apache.kafka.clients.consumer.internals.ConsumerCoordinator.poll(ConsumerCoordinator.java:248) [app.jar:1.5.0.0-SNAPSHOT]
! at org.apache.kafka.clients.consumer.KafkaConsumer.pollOnce(KafkaConsumer.java:1013) [app.jar:1.5.0.0-SNAPSHOT]
! at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:979) [app.jar:1.5.0.0-SNAPSHOT]
! at 

1 个答案:

答案 0 :(得分:1)

没关系,我的坏......这是端口错误,一个JVM有kafka的bootstrap-server指向错误的端口而不是9092 ..它连接到zookeeper但是没有使用kafka