卡夫卡10再平衡问题

时间:2017-05-13 03:38:42

标签: apache-kafka kafka-consumer-api

我正在运行kafka版本的0.10.1.1,而客户端正在使用客户端版本0.10.2.0。

有一个包含20个分区的主题。消费者在具有相同消费者组的2台服务器上运行,每台服务器上有10名消费者。

当我们在每台服务器上启动服务器有10个消费者时,它永远不会消耗消息并且服务器上会发生大量重新平衡(不确定为什么在这种情况下会发生重新平衡,因为线程和分区的数量完全匹配)。 当我们从1个消费者开始时,它开始消费消息,但继续获取提交失败的异常消息。我们希望每台服务器上有10个消费者。以下是我们的消费者配置

auto.commit.interval.ms = 5000
enable.auto.commit = true
partition.assignement.strategy = [class org.apache.kafka.clients.consumer.RangeAssignor]
auto.offset.reset = latest
check.crcs = true
connections.max.idle.ms = 540000
exclude.internal.topics = true
fetch.max.bytes = 52428800
fetch.max.wait.mx = 500
fetch.min.bytes = 1
group.id = testGroupId
heartbeat.interval.ms = 3000
max.partition.fetch.bytes = 1048576
max.poll.interval.ms = 300000
max.poll.records = 50
metadata.max.age.ms = 300000
metrics.reporters = []
metrics.num.samples = 2
metrics.sample.window.ms = 30000
receive.buffer.bytes = 65536
reconnect.backoff.ms = 50
request.timeout.ms = 305000
retry.backoff.ms = 100
send.buffer.bytes = 131072
session.timeout.ms = 50000
ssl.cipher.suites = null
ssl.enabled.protocol = [TLSv1.2, TLSv1.1, TLSv1]
ssl.keymanager.algorithm = Sun509
.... SASL and SSL related properties

exclude.internal.topics = true导致问题,因为kafka使用__consumer_offsets主题进行偏移管理吗?

我不明白为什么每台服务器上有10个消费者正在进行重新平衡。

由于

0 个答案:

没有答案