重新分配__consumer_offsets主题的分区会导致问题吗?

时间:2018-03-26 10:26:43

标签: apache-kafka

我们正在经营25家经纪人。但是__consumer_offsets主题的分区只在3个代理上传播,并且它们并不像我们预期的那样完全可用。这可能不是问题,因为kafka支持跨代理重新分配分区。但是我们对于重新分配它们犹豫不决,因为主题是__consumer_offsets。

群集信息:

  • 经纪人版本:0.11.0.2
  • 经纪人数:25

__ consumer_offsets主题状态:

  • 分区数:50
  • 复制品数量:3
  • 经纪人传播:3(50个分区放在3个分区上)

我的问题是:重新分配__consumer_offsets主题的分区会导致问题吗?

2 个答案:

答案 0 :(得分:1)

当前,我们正在使用Kafka 2.11-1.1.1。我在重新分配consumer_offset的某些分区时遇到问题。由于fetcher线程中的此异常,导致所有Kafka实例滚动重启。

BoundedOutOfOrdernessTimestampExtractor

我不知道为什么,但是我认为我们应该在沉默的时间做。

答案 1 :(得分:0)

您可以重新分配__consumer_offset的分区,不会有任何问题,因为它的重新分配与其他主题的处理方式相同