我正在使用此链接在EMR上安装Spark Cluster(亚马逊上的Elastic Map Reduce)https://aws.amazon.com/articles/Elastic-MapReduce/4926593393724923
为了创建Spark集群,我运行以下命令,并且我的集群每次都运行到bootstrap失败。我无法解决这个问题,如果有任何可以帮助我的话,那将会很棒。
aws emr create-cluster --name SparkCluster --ami-version 3.2 --instance-type m3.xlarge --instance-count 3 --ec2-attributes KeyName = MYKEY --applications Name = Hive --bootstrap- actions path = s3://support.elasticmapreduce/spark/install-spark
已解决:使用此方法 aws emr create-cluster --name SparkCluster --ami-version 3.7 --instance-type m3.xlarge --instance-count 3 --service-role EMR_DefaultRole --ec2-attributes KeyName = emr,InstanceProfile = EMR_EC2_DefaultRole --applications Name = Hive --bootstrap-actions Path = s3://support.elasticmapreduce/spark/install-spark
答案 0 :(得分:2)
在给定用户的SSH密钥和IAM角色的情况下,对该用户有效的答案摘要(在评论中有点反复):
aws emr create-cluster --name SparkCluster --ami-version 3.7 --instance-type m3.xlarge --instance-count 3 --service-role EMR_DefaultRole --ec2-attributes KeyName=emr,InstanceProfile=EMR_EC2_DefaultRole --applications Name=Hive --bootstrap-actions Path=s3://support.elasticmapreduce/spark/install-spark
可以在http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-iam-roles-creatingroles.html和http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-iam-roles-launch-jobflow.html找到有关EMR IAM角色的说明
答案 1 :(得分:0)
您提供的链接 V1 V1_match V2 V2_match V3 V3_match
1: 1 Male 1 Married 1 SingleWithChildren
2: 2 Female 2 Single 2 SingleWithoutChildren
3: NA 3 Other 3 MarriedWithChildren
4: NA NA 4 PartneredWithChildren
部分下的第4个点说明如下:
将KeyName参数的“MYKEY”值替换为您要用于SSH连接到EMR群集主节点的EC2密钥对的名称。
据我所知,您没有为您自己的EC2密钥名称更改Spark with YARN on an Amazon EMR cluster
的值。您应该尝试将其值更改为您已创建的现有EC2密钥名称。
如果您仍然没有密钥对,可以创建以下几种方法,其中一种方法在此link中进行了描述。
更新(来自以下评论)
从图片中看,从S3下载引导操作文件似乎存在问题。我不确定问题的原因是什么,但您可能想要更改AMI并使用不同的AMI版本MYKEY
启动EMR。
答案 2 :(得分:0)
还有另一种方法可以在EMR中直接启动火花簇。
步骤1 - 转到aws中的EMR部分,然后单击“创建集群”。
步骤2 - 转到配置中的引导操作并添加此行 S3://support.elasticmapreduce/spark/install-spark https://www.pinterest.com/pin/429953095652701745/
第3步 - 点击创建群集
您的群集将在几分钟内启动:)