Question

我正在使用apache-spark 1.2.0并且希望我的用户的Linux环境变量$MY_KEY在使用master=local

执行时可用于我的Java作业

在Java领域，这可以使用-D参数传递，但是当使用spark-submit

启动我的驱动程序时，我无法识别此信息

我尝试将其添加到conf/spark-defaults.conf，但是当它执行我的Java作业时，spark不会解析环境变量$ MY_KEY（我在日志中看到了这一点）

spark.driver.extraJavaOptions  -Dkeyfile="${MY_KEY}"

我在调用spark-submit时尝试添加相同的参数，但这也不起作用。

将其添加到conf/spark-env.sh

时遇到同样的问题

我让这个工作的唯一方法就是直接编辑bin/spark-submit脚本，这样就无法从现有环境变量中读取它，并且当我升级spark时会被覆盖。

因此，我认为spark-submit会忽略您当前用户的环境变量，并且只允许在其conf文件中定义受限制的变量子集。有谁知道我怎么解决这个问题？