使用嵌套聚合时,用于kafka流的Stream线程(num.stream.threads)数量是否有限制

时间:2019-10-23 12:27:26

标签: apache-kafka apache-kafka-streams

当我的流线程数超过110时,我的kafka流应用程序无法启动。 kafka流的流线程配置是否有限制?

在一个用例中,我们想使用通过kafka流DSL使用嵌套聚合(在50到100个嵌套聚合中,每个聚合都会导致主题重新划分)。根据某些阅读,理想的流线程配置应等于分区数。所以说当我有20个聚合且源主题有10个分区时,总共将有210个分区,包括重新分区的主题分区,因此我将流线程设置为210,这样我的应用程序就无法启动。 10个实例以及21个流线程,与此同时我也面临着相同的问题) 卡夫卡版本-1.1.1 Kafka Streams版本-2.2

0 个答案:

没有答案