运行spark job时选择JVM

时间:2014-12-30 11:45:41

标签: java hadoop apache-spark yarn

如何将java路径传递给spark-submit以选择非默认的JVM(不在JAVA_HOME中)?我不被允许在我的环境中设置任何env vars。

2 个答案:

答案 0 :(得分:0)

答案 1 :(得分:0)

好吧,似乎使用SPARK_YARN_USER_ENV是解决问题的方法之一。此外,似乎setExecutorEnv可以用于此,但我没有尝试。