我使用的是kafka 1.1.0,是单一用户,尽管我的投票非常快,但每100毫秒进行一次投票,却出现此错误。我使用手动提交,两次提交请求之间的持续时间可能会更改(甚至可能是几个小时)。但不进行民意调查。
我仍然收到此错误“协调员不知道该成员。”带有消息
org.apache.kafka.clients.consumer.CommitFailedException:提交无法 由于该组已经重新平衡并分配了 分区到另一个成员。这意味着 后续对poll()的调用的时间比配置的时间长 max.poll.interval.ms,通常表示轮询循环为 花太多时间处理邮件。您可以解决这个问题 通过增加会话超时或减小最大大小 在poll()中返回的批次具有max.poll.records。
此错误的原因可能是什么。我到处搜索过,但在遇到问题时找不到任何信息。
“ max.poll.interval.ms”和会话超时都是默认设置。
从日志中,我可以看到最后一次成功的提交位于“ 11:20:11.677”,而失败的提交位于“ 11:20:35.742”,相距仅24秒。
其申请流程具有自己的群组ID。我可以确认没有其他运行相同组ID的进程。
这来自调试日志:
2018-11-17 17:03:39.227-调试o.a.k.c.c.i.AbstractCoordinator 由于成员ID的原因,尝试心跳失败 Consumer-1-e237c8ed-fed7-4687-be4d-99e333e48af3无效。
2018-11-17 17:03:39.227-调试o.a.k.c.c.i.AbstractCoordinator 禁用心跳线2018-11-17 17:08:09.241-调试 o.apache.kafka.clients.NetworkClient发送元数据请求 (type = MetadataRequest,topic =)到节点10.0.10.220:9092(id:1机架: 空)
2018-11-17 17:08:09.241-调试 org.apache.kafka.clients.Metadata-更新的集群元数据版本 505到Cluster(id = 5zFDtyruTP-cIctUkxG0Pg,节点= [10.0.10.222:9092 (id:3机架:空),10.0.10.220:9092(id:1机架:空), 10.0.10.221:9092(id:2 rack:null)],分区= [])
2018-11-17 17:12:09.472-调试o.apache.kafka.clients.NetworkClient节点3 断开连接。
2018-11-17 17:12:09.472-调试 o.apache.kafka.clients.NetworkClient发送元数据请求 (type = MetadataRequest,topic =)到节点10.0.10.220:9092(id:1机架: 空)
2018-11-17 17:12:09.472-调试 org.apache.kafka.clients.Metadata-更新的集群元数据版本 506到Cluster(id = 5zFDtyruTP-cIctUkxG0Pg,节点= [10.0.10.222:9092 (id:3机架:空),10.0.10.221:9092(id:2机架:空), 10.0.10.220:9092(id:1 rack:null)],分区= [])
2018-11-17 17:17:09.502-调试o.apache.kafka.clients.NetworkClient初始化 连接到节点10.0.10.222:9092(id:3机架:null)以进行发送 元数据请求
2018-11-17 17:17:09.503-调试 o.apache.kafka.clients.NetworkClient初始化到节点的连接 10.0.10.221:9092(id:2 rack:null)
2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient发送元数据请求 (type = MetadataRequest,topic =)到节点10.0.10.220:9092(id:1机架: 空)
2018-11-17 17:17:09.503-调试 o.a.kafka.common.network.Selector使用SO_RCVBUF =创建的套接字 32768,SO_SNDBUF = 131072,SO_TIMEOUT = 0到节点2
2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient已完成 连接到节点2。获取API版本。
2018-11-17 17:17:09.503- 调试o.apache.kafka.clients.NetworkClient初始化API版本 从节点2获取。
2018-11-17 17:17:09.503-调试 org.apache.kafka.clients.Metadata-更新的集群元数据版本 507到Cluster(id = 5zFDtyruTP-cIctUkxG0Pg,节点= [10.0.10.220:9092 (id:1个机架:空),10.0.10.221:9092(id:2个机架:空), 10.0.10.222:9092(id:3 rack:null)],分区= [])
2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient记录 节点3的API版本:(产品(0):0至5 [可用:5],提取(1):0 到7 [可用:7],ListOffsets(2):0到2 [可用:2],元数据(3):0 到5 [可用:5],LeaderAndIsr(4):0到1 [可用:1],StopReplica(5): 0 [可用:0],UpdateMetadata(6):0至4 [可用:4], ControlledShutdown(7):0到1 [可用:1],OffsetCommit(8):0到3 [可用:3],OffsetFetch(9):0到3 [可用:3],FindCoordinator(10): 0到1 [可用:1],JoinGroup(11):0到2 [可用:2],心跳(12): 0到1 [可用:1],LeaveGroup(13):0到1 [可用:1],SyncGroup(14): 0到1 [可用:1],DescribeGroups(15):0到1 [可用:1], ListGroups(16):0到1 [可用:1],SaslHandshake(17):0到1 [可用: 1],ApiVersions(18):0到1 [可用:1],CreateTopics(19):0到2 [可用:2],DeleteTopics(20):0到1 [可用:1],DeleteRecords(21): 0 [可用:0],InitProducerId(22):0 [可用:0], OffsetForLeaderEpoch(23):0 [可用:0],AddPartitionsToTxn(24):0 [可用:0],AddOffsetsToTxn(25):0 [可用:0],EndTxn(26):0 [可用:0],WriteTxnMarkers(27):0 [可用:0],TxnOffsetCommit(28): 0 [可用:0],DescribeAcls(29):0 [可用:0],CreateAcls(30):0 [可用:0],DeleteAcls(31):0 [可用:0],DescribeConfigs(32):0至 1 [可用:1],AlterConfigs(33):0 [可用:0], AlterReplicaLogDirs(34):0 [可用:0],DescribeLogDirs(35):0 [可用:0],SaslAuthenticate(36):0 [可用:0], CreatePartitions(37):0 [可用:0],CreateDelegationToken(38):0 [可用:0],RenewDelegationToken(39):0 [可用:0], ExpireDelegationToken(40):0 [可用:0],DescribeDelegationToken(41): 0 [可用:0],DeleteGroups(42):0 [可用:0])
2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient已完成 连接到节点2。获取API版本。
2018-11-17 17:17:09.503- 调试o.apache.kafka.clients.NetworkClient初始化API版本 从节点2获取。
2018-11-17 17:17:09.503-调试 org.apache.kafka.clients.Metadata-更新的集群元数据版本 507到Cluster(id = 5zFDtyruTP-cIctUkxG0Pg,节点= [10.0.10.220:9092 (id:1个机架:空),10.0.10.221:9092(id:2个机架:空), 10.0.10.222:9092(id:3 rack:null)],分区= [])
2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient记录 节点3的API版本:(产品(0):0至5 [可用:5],提取(1):0 到7 [可用:7],ListOffsets(2):0到2 [可用:2],元数据(3):0 到5 [可用:5],LeaderAndIsr(4):0到1 [可用:1],StopReplica(5): 0 [可用:0],UpdateMetadata(6):0至4 [可用:4], ControlledShutdown(7):0到1 [可用:1],OffsetCommit(8):0到3 [可用:3],OffsetFetch(9):0到3 [可用:3],FindCoordinator(10): 0到1 [可用:1],JoinGroup(11):0到2 [可用:2],心跳(12): 0到1 [可用:1],LeaveGroup(13):0到1 [可用:1],SyncGroup(14): 0到1 [可用:1],DescribeGroups(15):0到1 [可用:1], ListGroups(16):0到1 [可用:1],SaslHandshake(17):0到1 [可用: 1],ApiVersions(18):0到1 [可用:1],CreateTopics(19):0到2 [可用:2],DeleteTopics(20):0到1 [可用:1],DeleteRecords(21): 0 [可用:0],InitProducerId(22):0 [可用:0], OffsetForLeaderEpoch(23):0 [可用:0],AddPartitionsToTxn(24):0 [可用:0],AddOffsetsToTxn(25):0 [可用:0],EndTxn(26):0 [可用:0],WriteTxnMarkers(27):0 [可用:0],TxnOffsetCommit(28): 0 [可用:0],DescribeAcls(29):0 [可用:0],CreateAcls(30):0 [可用:0],DeleteAcls(31):0 [可用:0],DescribeConfigs(32):0至 1 [可用:1],AlterConfigs(33):0 [可用:0], AlterReplicaLogDirs(34):0 [可用:0],DescribeLogDirs(35):0 [可用:0],SaslAuthenticate(36):0 [可用:0], CreatePartitions(37):0 [可用:0],CreateDelegationToken(38):0 [可用:0],RenewDelegationToken(39):0 [可用:0], ExpireDelegationToken(40):0 [可用:0],DescribeDelegationToken(41): 0 [可用:0],DeleteGroups(42):0 [可用:0])2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient已记录 节点2的API版本:(产品(0):0到5 [可用:5],提取(1):0 到7 [可用:7],ListOffsets(2):0到2 [可用:2],元数据(3):0 到5 [可用:5],LeaderAndIsr(4):0到1 [可用:1],StopReplica(5): 0 [可用:0],UpdateMetadata(6):0至4 [可用:4], ControlledShutdown(7):0到1 [可用:1],OffsetCommit(8):0到3 [可用:3],OffsetFetch(9):0到3 [可用:3],FindCoordinator(10): 0到1 [可用:1],JoinGroup(11):0到2 [可用:2],心跳(12): 0到1 [可用:1],LeaveGroup(13):0到1 [可用:1],SyncGroup(14): 0到1 [可用:1],DescribeGroups(15):0到1 [可用:1], ListGroups(16):0到1 [可用:1],SaslHandshake(17):0到1 [可用: 1],ApiVersions(18):0到1 [可用:1],CreateTopics(19):0到2 [可用:2],DeleteTopics(20):0到1 [可用:1],DeleteRecords(21): 0 [可用:0],InitProducerId(22):0 [可用:0], OffsetForLeaderEpoch(23):0 [可用:0],AddPartitionsToTxn(24):0 [可用:0],AddOffsetsToTxn(25):0 [可用:0],EndTxn(26):0 [可用:0],WriteTxnMarkers(27):0 [可用:0],TxnOffsetCommit(28): 0 [可用:0],DescribeAcls(29):0 [可用:0],CreateAcls(30):0 [可用:0],DeleteAcls(31):0 [可用:0],DescribeConfigs(32):0至 1 [可用:1],AlterConfigs(33):0 [可用:0], AlterReplicaLogDirs(34):0 [可用:0],DescribeLogDirs(35):0 [可用:0],SaslAuthenticate(36):0 [可用:0], CreatePartitions(37):0 [可用:0],CreateDelegationToken(38):0 [可用:0],RenewDelegationToken(39):0 [可用:0], ExpireDelegationToken(40):0 [可用:0],DescribeDelegationToken(41): 0 [可用:0],DeleteGroups(42):0 [可用:0])
我在调试中看到成员ID不是唯一的消息,并且kafka使用者客户端不断重试连接。