尝试在EMR上安装Spark时Bootstrap失败

时间:2015-05-11 05:41:48

标签: hadoop amazon-web-services apache-spark emr amazon-emr

我正在使用此链接在EMR上安装Spark Cluster(亚马逊上的Elastic Map Reduce)https://aws.amazon.com/articles/Elastic-MapReduce/4926593393724923

为了创建Spark集群,我运行以下命令,并且我的集群每次都运行到bootstrap失败。我无法解决这个问题,如果有任何可以帮助我的话,那将会很棒。

aws emr create-cluster --name SparkCluster --ami-version 3.2 --instance-type m3.xlarge --instance-count 3 --ec2-attributes KeyName = MYKEY --applications Name = Hive --bootstrap- actions path = s3://support.elasticmapreduce/spark/install-spark

已解决:使用此方法 aws emr create-cluster --name SparkCluster --ami-version 3.7 --instance-type m3.xlarge --instance-count 3 --service-role EMR_DefaultRole --ec2-attributes KeyName = emr,InstanceProfile = EMR_EC2_DefaultRole --applications Name = Hive --bootstrap-actions Path = s3://support.elasticmapreduce/spark/install-spark

3 个答案:

答案 0 :(得分:2)

在给定用户的SSH密钥和IAM角色的情况下,对该用户有效的答案摘要(在评论中有点反复):

aws emr create-cluster --name SparkCluster --ami-version 3.7 --instance-type m3.xlarge --instance-count 3 --service-role EMR_DefaultRole --ec2-attributes KeyName=emr,InstanceProfile=EMR_EC2_DefaultRole --applications Name=Hive --bootstrap-actions Path=s3://support.elasticmapreduce/spark/install-spark

可以在http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-iam-roles-creatingroles.htmlhttp://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-iam-roles-launch-jobflow.html找到有关EMR IAM角色的说明

答案 1 :(得分:0)

您提供的链接 V1 V1_match V2 V2_match V3 V3_match 1: 1 Male 1 Married 1 SingleWithChildren 2: 2 Female 2 Single 2 SingleWithoutChildren 3: NA 3 Other 3 MarriedWithChildren 4: NA NA 4 PartneredWithChildren 部分下的第4个点说明如下:

  

将KeyName参数的“MYKEY”值替换为您要用于SSH连接到EMR群集主节点的EC2密钥对的名称。

据我所知,您没有为您自己的EC2密钥名称更改Spark with YARN on an Amazon EMR cluster的值。您应该尝试将其值更改为您已创建的现有EC2密钥名称。

如果您仍然没有密钥对,可以创建以下几种方法,其中一种方法在此link中进行了描述。

更新(来自以下评论)

从图片中看,从S3下载引导操作文件似乎存在问题。我不确定问题的原因是什么,但您可能想要更改AMI并使用不同的AMI版本MYKEY启动EMR。

答案 2 :(得分:0)

还有另一种方法可以在EMR中直接启动火花簇。

步骤1 - 转到aws中的EMR部分,然后单击“创建集群”。

步骤2 - 转到配置中的引导操作并添加此行 S3://support.elasticmapreduce/spark/install-spark https://www.pinterest.com/pin/429953095652701745/

第3步 - 点击创建群集

您的群集将在几分钟内启动:)