如果我在单个分区上使用kafka主题,则一切正常。
如果我使用5个kafka服务器和一个带有10个分区的主题,则分配给控制代理的分区以-1偏移开始。发送到这些分区的消息会丢失。
梳理日志,我看不到任何错误。尽管我确实看到很多警告,提示分区已停止服务,但“ INFO [ReplicaFetcherplicateId = 1,leaderId = 5,fetcherId = 0],当领导者报告分区错误__consumer_offsets-2时,它正在重试LeaderEpoch请求:UNKNOWN_TOPIC_OR_PARTITION“
在强制执行资源限制的操作系统升级(dc / os)之前,此方法工作正常。我将资源分配增加到可笑的比例。
以下是在写入任何数据之前__consumer_offsets主题的前5个分区的kafdrop的输出。
分区
第一次偏移
最后偏移
尺寸
领队
复制品
在同步副本中
首选领袖?
在复制下?
0 0 0 0 3 3,1,2,4,5 1,2,3,4,5 Yes No
1 0 0 0 4 4,2,3,5,1 1,2,3,4,5 Yes No
2 0 0 0 5 5,3,4,1,2 1,2,3,4,5 Yes No
3 -1 -1 0 1 1,4,5,2,3 1,2,3,4,5 Yes No
4 0 0 0 2 2,5,1,3,4 1,2,3,4,5 Yes No
这时,kafka服务器1正在运行,它的日志看起来不错。服务器1也被标识为控制代理。