说,我们有2个流任务(在不同的实例上运行)。源主题有1个分区。在应用程序开始时,将Partition-1分配给Stream-Task-1。现在,Stream-1任务开始进行一些处理和转换,并花费超过10分钟的时间。有没有可能,Kafka框架会触发重新平衡并从系统中退出Stream-Task-1并将P1分配给Stream-Task-2?
是否有用于流任务的属性,以控制重新平衡不应触发的时间!!!
感谢大家的回应。
答案 0 :(得分:0)
我假设Stream-Task只是指您的Streams应用程序的不同实例? “ StreamTask”是Streams用于定义工作单元的内部术语。如果只有一个输入主题和一个分区,则您的应用程序中只有一个StreamTask。
如果您的一个实例未能在轮询间隔内进行轮询,则是,它将被踢出该组,并将其任务(即分区)分配给另一个实例。如果您认为它可能在处理过程中停留了10分钟,则应相应地调整max.poll.interval.ms
配置。