在 AWS ECS 上运行分布式 kafka 连接集群

时间:2021-03-25 10:29:37

标签: amazon-web-services apache-kafka apache-kafka-connect confluent-platform

我想在ECS中运行kafka connect多节点集群(ec2类型)。

为了让同一集群中的 kafka-connect 节点进行通信,我需要将 REST_ADVERTISED_HOST_NAME 属性设置为运行 ecs 任务的 ec2 实例的 ip/主机名。

这个属性对于每个 kafka-connect 节点(作为 ECS 任务运行)应该是不同的

当我增加 ECS 服务中的任务数量时,如何为每个任务设置一个不同的 REST_ADVERTISED_HOST_NAME? 在后台,任务可以在同一个 ec2 实例上运行

目前这个属性被硬编码在 connect-distributed.properties 中或作为环境变量传递到任务定义中,因此对于创建的每个新任务(或连接节点)都是相同的

0 个答案:

没有答案
相关问题