提前致谢! 我尝试创建3个单独的Ec2实例,其中实例1运行spark master,实例2具有spark worker,而实例3使用云编队模板在其中运行客户端。
我想为spark master设置单个实例,但是将spark主机作为用户数据参数的spark worker的多个实例,我该怎么做?
此致 Amey
答案 0 :(得分:0)
除非您有非常具体的理由,否则我不建议使用EC2和CloudFormation从头开始创建Apache Spark群集。相反,我会考虑使用Amazon EMR设置Spark群集,它支持Spark开箱即用,并且可以避免重复大量自定义设置,从而正确配置和配置Spark群集。使用EMR,您可以轻松choose the number and type of instances,甚至auto scale,具体取决于您群集的当前负载。虽然使用控制台最适合入门,但CloudFormation也通过其AWS::EMR::Cluster
资源支持EMR。
如果您坚持使用CloudFormation直接启动EC2实例,请查看主/客户端的AWS::EC2::Instance
资源以及工作池的AWS::AutoScaling::AutoScalingGroup
资源。
答案 1 :(得分:-1)
根据 AWS CloudFormation 文档:
您必须单独声明每个资源;但是,如果你有 多个相同类型的资源,您可以一起声明它们 用逗号分隔它们。
要传递用户数据,您可以使用资源的UserData
属性。
参考: http://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/resources-section-structure.html