Question

当我添加命令“--enable-debugging”时，我无法创建aws emr集群我可以在没有enable-debugging命令的情况下创建集群。得到如下错误：aws：error：选项--configurations

的无效json参数

我创建群集的脚本是：

aws emr create-cluster \
  --name test-cluster \
  --release-label emr-5.5.0 \
  --instance-groups     InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge InstanceGroupType=CORE,InstanceCount=1,InstanceType=m3.xlarge \
  --no-auto-terminate \
  --termination-protected \
  --visible-to-all-users \
  --use-default-roles \
  --log-uri s3://testlogs/ \
  --enable-debugging \
  --tags Owner=${OWNER} Environment=Dev Name=${OWNER}-test-cluster \
  --ec2-attributes KeyName=$KEY,SubnetId=$SUBNET \
  --applications Name=Hadoop Name=Pig Name=Hive \
  --security-configuration test-sec-config \
  --configurations s3://configurations/mapreduceconfig.json

mapreduceconfig.json文件是：

[
 {
   "Classification": "mapred-site",
   "Properties": {
       "mapred.tasktracker.map.tasks.maximum": 2
   }
 },
 {
   "Classification": "hadoop-env",
   "Properties": {},
   "Configurations": [
       {
         "Classification": "export",
         "Properties": {
             "HADOOP_DATANODE_HEAPSIZE": 2048,
             "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19"
         }
       }
   ]
 }
]

Answer 1

嗯，这个错误很明显。 --configurations选项不支持S3://文件系统。根据示例和文档 http://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html

它仅支持file://和S3中文件的直接公共链接。比如https://s3.amazonaws.com/myBucket/mapreduceconfig.json

因此，您的配置必须公开。

不确定如何在没有--enable-debugging命令的情况下运行它。

无法使用enable-debugging创建aws emr集群

1 个答案: