具有spark的AWS DataPipeline EMR集群

Question

我使用EMR模板创建了一个AWS DataPipeline，但它没有在EMR集群上安装Spark。我需要为此设置任何特殊操作吗？ 我看到一些bootstrapaction需要安装spark，但这也无法正常工作。

Answer 1

install-spark bootstrap操作仅适用于3.x AMI版本。如果您使用的是releaseLabel（emr-4.x或更高版本），则要以不同的方式指定要安装的应用程序。

在创建管道时，单击底部的“在架构师中编辑”或在管道主页上编辑管道，然后可以单击EmrCluster节点并从“添加可选字段...”中选择应用程序。 “ 落下。这是你可以添加Spark的地方。