Question

我要将env值设置为主节点。例如，我想拥有export AWS_ENV="poc"。有什么方法可以使用configuration.json来代替bootstrapaction中的一行代码

我尝试使用yarn-env.export和spark-env.export，但是它们都不符合我的要求

[
    {
      "Classification": "spark-env",
      "Configurations": [
        {
          "Classification": "export",
          "Properties": {
            "AWS_ENV": "poc"
          }
        }
      ]
    }
  ]

Answer 1

这是有效的emr配置示例。请记住，这只会在主节点上设置环境变量，而不是在执行程序上。

{"classification":"spark-env", 
 "properties":{},
 "configurations":
  [
   {"classification":"export", 
    "properties":
     {"PYSPARK_PYTHON":"/opt/spark/venv/bin/python",
      "ENV_1":"val_1",
      "ENV_2":"val_2"
     },
    "configurations":[]
   }
  ]
 }
]

我能看到的唯一区别是classification:export中缺少配置键。尝试以下。

[
 {
  "Classification": "spark-env",
  "Configurations":
   [
    {"Classification": "export",
     "Properties":
      {"AWS_ENV": "poc"
      },
     "Configurations:[]
    }
   ]
 }
]

如何将环境变量设置为AWS EMR主节点

1 个答案: