如何在aws ecs中设置spark

Question

我有一个由zookeeper管理的火花多主机集群，我想将这个多主控拱门移动到aws ecs，aws EMR不是一个选项，

问题 ecs负载均衡将如何工作，将每个组件（spark-master，spark-worker，zookeeper，livy）部署在不同的服务ecs中。谢谢

Answer 1

无法完成火花组件在编译时通过配置文件连接，因此解决方案是使用任务定义loopback接口，它提供静态ip号（127.0.0.1）和主机名（localhost），所以例如worker连接到主人将是 spark：//127.0.0.1：7077