Kafka Streams超时重新平衡并从集群中退出

时间:2020-10-06 16:25:23

标签: apache-kafka apache-kafka-streams

说,我们有2个流任务(在不同的实例上运行)。源主题有1个分区。在应用程序开始时,将Partition-1分配给Stream-Task-1。现在,Stream-1任务开始进行一些处理和转换,并花费超过10分钟的时间。有没有可能,Kafka框架会触发重新平衡并从系统中退出Stream-Task-1并将P1分配给Stream-Task-2?

是否有用于流任务的属性,以控制重新平衡不应触发的时间!!!

感谢大家的回应。

1 个答案:

答案 0 :(得分:0)

我假设Stream-Task只是指您的Streams应用程序的不同实例? “ StreamTask”是Streams用于定义工作单元的内部术语。如果只有一个输入主题和一个分区,则您的应用程序中只有一个StreamTask。

如果您的一个实例未能在轮询间隔内进行轮询,则是,它将被踢出该组,并将其任务(即分区)分配给另一个实例。如果您认为它可能在处理过程中停留了10分钟,则应相应地调整max.poll.interval.ms配置。