Question

我使用spark-defaults分类[http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-configure.html]并提供以下属性： - spark.yarn.appMasterEnv.FOO = "foo"在纱线母版中设置环境变量。

我想知道这些变量是否也会出现在执行程序实例中？如果没有，有没有办法做同样的事情？

Answer 1

由属性spark.yarn.appMasterEnv.FOO =“foo”设置的环境变量将不会出现在执行程序实例上。

我使用以下分类在执行程序和主节点上设置环境变量：

[   
  {
   "Classification": "yarn-env",
   "Properties": {},
   "Configurations": [
       {
         "Classification": "export",
         "Properties": {
             "VARIABLE_NAME": VARIABLE_VALUE,
         }
       }
   ]
 }
]

在Spark中设置执行程序环境变量

1 个答案: