Kafka Stream内部话题因卡夫卡经纪人失败而增加

时间:2017-09-20 10:21:53

标签: apache-kafka kafka-consumer-api kafka-producer-api apache-kafka-streams

我有一个Kafka Streams应用程序版本 - 0.11.0.1,它从少数主题获取数据并加入数据并将其放入另一个主题。

Kafka配置:

5 kafka brokers - version 0.11
Kafka Topics - 15 partitions and 3 replication factor.

每小时消耗/生产的记录数量达数百万。

注意:每当我拿走任何一个kafka经纪人时,它会导致很少的消费者和Kafka流(消费者)重新平衡,内部主题的滞后从0增加 - 几百万(1-10)。 < / p>

这是因为任何本地状态存储配置还是什么?我怎么处理这个?

0 个答案:

没有答案