kafka CommitFailedException:协调器不知道该成员。尽管每100毫秒和单个消费者都进行了投票

时间:2018-11-15 04:56:56

标签: apache-kafka

我使用的是kafka 1.1.0,是单一用户,尽管我的投票非常快,但每100毫秒进行一次投票,却出现此错误。我使用手动提交,两次提交请求之间的持续时间可能会更改(甚至可能是几个小时)。但不进行民意调查。

我仍然收到此错误“协调员不知道该成员。”带有消息

  

org.apache.kafka.clients.consumer.CommitFailedException:提交无法   由于该组已经重新平衡并分配了   分区到另一个成员。这意味着   后续对poll()的调用的时间比配置的时间长   max.poll.interval.ms,通常表示轮询循环为   花太多时间处理邮件。您可以解决这个问题   通过增加会话超时或减小最大大小   在poll()中返回的批次具有max.poll.records。

此错误的原因可能是什么。我到处搜索过,但在遇到问题时找不到任何信息。

“ max.poll.interval.ms”和会话超时都是默认设置。

从日志中,我可以看到最后一次成功的提交位于“ 11:20:11.677”,而失败的提交位于“ 11:20:35.742”,相距仅24秒。

其申请流程具有自己的群组ID。我可以确认没有其他运行相同组ID的进程。

这来自调试日志:

  

2018-11-17 17:03:39.227-调试o.a.k.c.c.i.AbstractCoordinator   由于成员ID的原因,尝试心跳失败   Consumer-1-e237c8ed-fed7-4687-be4d-99e333e48af3无效。

     

2018-11-17 17:03:39.227-调试o.a.k.c.c.i.AbstractCoordinator   禁用心跳线2018-11-17 17:08:09.241-调试   o.apache.kafka.clients.NetworkClient发送元数据请求   (type = MetadataRequest,topic =)到节点10.0.10.220:9092(id:1机架:   空)

     

2018-11-17 17:08:09.241-调试   org.apache.kafka.clients.Metadata-更新的集群元数据版本   505到Cluster(id = 5zFDtyruTP-cIctUkxG0Pg,节点= [10.0.10.222:9092   (id:3机架:空),10.0.10.220:9092(id:1机架:空),   10.0.10.221:9092(id:2 rack:null)],分区= [])

     

2018-11-17 17:12:09.472-调试o.apache.kafka.clients.NetworkClient节点3   断开连接。

     

2018-11-17 17:12:09.472-调试   o.apache.kafka.clients.NetworkClient发送元数据请求   (type = MetadataRequest,topic =)到节点10.0.10.220:9092(id:1机架:   空)

     

2018-11-17 17:12:09.472-调试   org.apache.kafka.clients.Metadata-更新的集群元数据版本   506到Cluster(id = 5zFDtyruTP-cIctUkxG0Pg,节点= [10.0.10.222:9092   (id:3机架:空),10.0.10.221:9092(id:2机架:空),   10.0.10.220:9092(id:1 rack:null)],分区= [])

     

2018-11-17 17:17:09.502-调试o.apache.kafka.clients.NetworkClient初始化   连接到节点10.0.10.222:9092(id:3机架:null)以进行发送   元数据请求

     

2018-11-17 17:17:09.503-调试   o.apache.kafka.clients.NetworkClient初始化到节点的连接   10.0.10.221:9092(id:2 rack:null)

     

2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient发送元数据请求   (type = MetadataRequest,topic =)到节点10.0.10.220:9092(id:1机架:   空)

     

2018-11-17 17:17:09.503-调试   o.a.kafka.common.network.Selector使用SO_RCVBUF =创建的套接字   32768,SO_SNDBUF = 131072,SO_TIMEOUT = 0到节点2

     

2018-11-17   17:17:09.503-调试o.apache.kafka.clients.NetworkClient已完成   连接到节点2。获取API版本。

     

2018-11-17 17:17:09.503-   调试o.apache.kafka.clients.NetworkClient初始化API版本   从节点2获取。

     

2018-11-17 17:17:09.503-调试   org.apache.kafka.clients.Metadata-更新的集群元数据版本   507到Cluster(id = 5zFDtyruTP-cIctUkxG0Pg,节点= [10.0.10.220:9092   (id:1个机架:空),10.0.10.221:9092(id:2个机架:空),   10.0.10.222:9092(id:3 rack:null)],分区= [])

     

2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient记录   节点3的API版本:(产品(0):0至5 [可用:5],提取(1):0   到7 [可用:7],ListOffsets(2):0到2 [可用:2],元数据(3):0   到5 [可用:5],LeaderAndIsr(4):0到1 [可用:1],StopReplica(5):   0 [可用:0],UpdateMetadata(6):0至4 [可用:4],   ControlledShutdown(7):0到1 [可用:1],OffsetCommit(8):0到3   [可用:3],OffsetFetch(9):0到3 [可用:3],FindCoordinator(10):   0到1 [可用:1],JoinGroup(11):0到2 [可用:2],心跳(12):   0到1 [可用:1],LeaveGroup(13):0到1 [可用:1],SyncGroup(14):   0到1 [可用:1],DescribeGroups(15):0到1 [可用:1],   ListGroups(16):0到1 [可用:1],SaslHandshake(17):0到1 [可用:   1],ApiVersions(18):0到1 [可用:1],CreateTopics(19):0到2   [可用:2],DeleteTopics(20):0到1 [可用:1],DeleteRecords(21):   0 [可用:0],InitProducerId(22):0 [可用:0],   OffsetForLeaderEpoch(23):0 [可用:0],AddPartitionsToTxn(24):0   [可用:0],AddOffsetsToTxn(25):0 [可用:0],EndTxn(26):0   [可用:0],WriteTxnMarkers(27):0 [可用:0],TxnOffsetCommit(28):   0 [可用:0],DescribeAcls(29):0 [可用:0],CreateAcls(30):0   [可用:0],DeleteAcls(31):0 [可用:0],DescribeConfigs(32):0至   1 [可用:1],AlterConfigs(33):0 [可用:0],   AlterReplicaLogDirs(34):0 [可用:0],DescribeLogDirs(35):0   [可用:0],SaslAuthenticate(36):0 [可用:0],   CreatePartitions(37):0 [可用:0],CreateDelegationToken(38):0   [可用:0],RenewDelegationToken(39):0 [可用:0],   ExpireDelegationToken(40):0 [可用:0],DescribeDelegationToken(41):   0 [可用:0],DeleteGroups(42):0 [可用:0])

     

2018-11-17   17:17:09.503-调试o.apache.kafka.clients.NetworkClient已完成   连接到节点2。获取API版本。

     

2018-11-17 17:17:09.503-   调试o.apache.kafka.clients.NetworkClient初始化API版本   从节点2获取。

     

2018-11-17 17:17:09.503-调试   org.apache.kafka.clients.Metadata-更新的集群元数据版本   507到Cluster(id = 5zFDtyruTP-cIctUkxG0Pg,节点= [10.0.10.220:9092   (id:1个机架:空),10.0.10.221:9092(id:2个机架:空),   10.0.10.222:9092(id:3 rack:null)],分区= [])

     

2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient记录   节点3的API版本:(产品(0):0至5 [可用:5],提取(1):0   到7 [可用:7],ListOffsets(2):0到2 [可用:2],元数据(3):0   到5 [可用:5],LeaderAndIsr(4):0到1 [可用:1],StopReplica(5):   0 [可用:0],UpdateMetadata(6):0至4 [可用:4],   ControlledShutdown(7):0到1 [可用:1],OffsetCommit(8):0到3   [可用:3],OffsetFetch(9):0到3 [可用:3],FindCoordinator(10):   0到1 [可用:1],JoinGroup(11):0到2 [可用:2],心跳(12):   0到1 [可用:1],LeaveGroup(13):0到1 [可用:1],SyncGroup(14):   0到1 [可用:1],DescribeGroups(15):0到1 [可用:1],   ListGroups(16):0到1 [可用:1],SaslHandshake(17):0到1 [可用:   1],ApiVersions(18):0到1 [可用:1],CreateTopics(19):0到2   [可用:2],DeleteTopics(20):0到1 [可用:1],DeleteRecords(21):   0 [可用:0],InitProducerId(22):0 [可用:0],   OffsetForLeaderEpoch(23):0 [可用:0],AddPartitionsToTxn(24):0   [可用:0],AddOffsetsToTxn(25):0 [可用:0],EndTxn(26):0   [可用:0],WriteTxnMarkers(27):0 [可用:0],TxnOffsetCommit(28):   0 [可用:0],DescribeAcls(29):0 [可用:0],CreateAcls(30):0   [可用:0],DeleteAcls(31):0 [可用:0],DescribeConfigs(32):0至   1 [可用:1],AlterConfigs(33):0 [可用:0],   AlterReplicaLogDirs(34):0 [可用:0],DescribeLogDirs(35):0   [可用:0],SaslAuthenticate(36):0 [可用:0],   CreatePartitions(37):0 [可用:0],CreateDelegationToken(38):0   [可用:0],RenewDelegationToken(39):0 [可用:0],   ExpireDelegationToken(40):0 [可用:0],DescribeDelegationToken(41):   0 [可用:0],DeleteGroups(42):0 [可用:0])2018-11-17   17:17:09.503-调试o.apache.kafka.clients.NetworkClient已记录   节点2的API版本:(产品(0):0到5 [可用:5],提取(1):0   到7 [可用:7],ListOffsets(2):0到2 [可用:2],元数据(3):0   到5 [可用:5],LeaderAndIsr(4):0到1 [可用:1],StopReplica(5):   0 [可用:0],UpdateMetadata(6):0至4 [可用:4],   ControlledShutdown(7):0到1 [可用:1],OffsetCommit(8):0到3   [可用:3],OffsetFetch(9):0到3 [可用:3],FindCoordinator(10):   0到1 [可用:1],JoinGroup(11):0到2 [可用:2],心跳(12):   0到1 [可用:1],LeaveGroup(13):0到1 [可用:1],SyncGroup(14):   0到1 [可用:1],DescribeGroups(15):0到1 [可用:1],   ListGroups(16):0到1 [可用:1],SaslHandshake(17):0到1 [可用:   1],ApiVersions(18):0到1 [可用:1],CreateTopics(19):0到2   [可用:2],DeleteTopics(20):0到1 [可用:1],DeleteRecords(21):   0 [可用:0],InitProducerId(22):0 [可用:0],   OffsetForLeaderEpoch(23):0 [可用:0],AddPartitionsToTxn(24):0   [可用:0],AddOffsetsToTxn(25):0 [可用:0],EndTxn(26):0   [可用:0],WriteTxnMarkers(27):0 [可用:0],TxnOffsetCommit(28):   0 [可用:0],DescribeAcls(29):0 [可用:0],CreateAcls(30):0   [可用:0],DeleteAcls(31):0 [可用:0],DescribeConfigs(32):0至   1 [可用:1],AlterConfigs(33):0 [可用:0],   AlterReplicaLogDirs(34):0 [可用:0],DescribeLogDirs(35):0   [可用:0],SaslAuthenticate(36):0 [可用:0],   CreatePartitions(37):0 [可用:0],CreateDelegationToken(38):0   [可用:0],RenewDelegationToken(39):0 [可用:0],   ExpireDelegationToken(40):0 [可用:0],DescribeDelegationToken(41):   0 [可用:0],DeleteGroups(42):0 [可用:0])

我在调试中看到成员ID不是唯一的消息,并且kafka使用者客户端不断重试连接。

0 个答案:

没有答案