在最新的AWS EMR（5.13.X）上安装（引导）最新Spark时出错

Question

我一直在尝试使用以下Terraform通过bootstrapping在最新的EMR（（5.13.X）集群上安装Spark，但没有成功。任何准备使用最新的Spark / emr版本可启动脚本或其他解决方案来使用Terraform？

   bootstrap_action = {
path = "s3://support.elasticmapreduce/spark/install-spark"
name = "install-spark"
args = ["instance.isMaster=true", "echo running on master node"]}

Answer 1

自从大约三年前Spark正式支持作为AMI版本3.9.0上的应用程序之前，这种install-spark引导操作一直没有奏效。此外，为AMI版本3.x及更早版本构建的引导操作根本不适用于发行标签emr-4.x和emr-5.x +。

相反，要在emr-4.x或emr-5.x上安装Spark，只需在RunJobFlowRequest的应用程序列表中包含“Spark”。

我没有使用Terraform创建EMR集群，但我在https://www.terraform.io/docs/providers/aws/r/emr_cluster.html找到的示例显示了如何使用Spark创建集群。