AWS中的自动缩放组中的多区域apache kafka和zookeeper

时间:2017-06-29 02:42:20

标签: apache-kafka apache-zookeeper

我在网上搜索了指向在AWS中多个区域的自动缩放组中设置apache kafka / zookeeper组合的体系结构。

任何人都可以设置这样的东西吗?面临这些挑战的任何挑战和解决方案。如果有的话,这种类型的设置会带来什么样的妥协呢?

自动缩放的一个大问题是能够动态更新配置文件。 AWS也无法提供帮助,因为即使使用创建的网络接口(eni)也无法控制启动配置以在使用自动缩放组时使用enis。

另外,您如何管理更改配置文件?

只是有这些问题而我无法想到发布这样的问题。如果这是错误的地方,请告诉我,并建议发布一个地方发布这样的问题。

由于

1 个答案:

答案 0 :(得分:1)

对于zookeeper来说,自动缩放并不是一个好主意,对于Kafka经纪人来说这也很棘手。然而,其他Kafka组件,如Kafka Streams在自动缩放方面效果很好。

Confluent提供了一些工具来帮助包括AWS Cloud Formation模板,自动数据平衡工具,以及有关如何设置AWS可用区(带机架感知)和区域(使用Replicator)的大量建议。

请参阅此博客,了解最佳做法https://www.confluent.io/blog/design-and-deployment-considerations-for-deploying-apache-kafka-on-aws/

请参阅此快速入门了解部署模板https://aws.amazon.com/quickstart/architecture/confluent-platform/