Kafka流具有多个应用程序实例

时间:2019-01-28 04:17:11

标签: apache-kafka apache-kafka-streams

我的kafka流应用程序有2个实例,在单个主题中消耗2个分区。

单个分区数据将仅在一个应用程序中还是在两个应用程序中?并说如果一个应用程序实例关闭,我会遇到问题。交互式查询将如何解决这个问题? 我需要使用globalktable吗?

1 个答案:

答案 0 :(得分:1)

每个kafka流应用程序实例将根据输入主题具有的分区映射到一个或多个分区。

如果您为具有2个分区的输入主题运行2个实例,则每个分区将消耗一个分区。如果一个实例发生故障,kafka流将在第一个实例上重新平衡工作负载,并且将从两个分区中使用。

您可以在此处详细参考架构:https://docs.confluent.io/current/streams/architecture.html enter image description here